產品經理的獨門技能——AI監督學習(6000字干貨)
監督學習,是人工智能領域中的重要學習方式之一,那么,產品經理是否有可能借助AI監督學習,來幫助自己在工作中脫穎而出?這篇文章里,作者就對監督學習的入門原理、以及產品經理如何將AI監督學習應用到工作之中等方面做了解讀,一起來看。
各位看官:
今天,我們將探討人工智能中的一個重要領域——監督學習。
本篇將主要介紹什么是監督學習、監督學習中的一個入門原理:感知器,我們如何評估AI監督學習是否有效,同時,還會揭示ChatGPT中監督學習的部分規則,討論產品經理如何運用AI監督學習在工作中脫穎而出,提高工作效率。
一、什么是監督學習?
監督學習是人工智能領域中的一種重要學習方式,其本質是機器通過提供已知輸入和對應輸出的訓練數據,學習輸入與輸出之間的映射關系,以便在面對新的未知輸入時能夠做出準確的預測。
這種學習方式就像是給機器提供了一個“導師”,這個導師就是訓練數據中的標簽或輸出值,可以理解成我們給機器的樣本數據,這些樣本數據就像是老師在考試卷上標記的答案一樣,告訴機器每道題是否回答正確,正確答案是什么。在訓練中,如果錯誤,就會糾偏,更新權重,從概念上講,這意味著人工智能從失敗中學習,而不是從成功中學習。
比如說,我們要教機器認識貓和狗的圖片。我們給機器看了一堆貓和狗的圖片,并告訴它哪些是貓,哪些是狗。如果回答錯誤,我們就要反饋“否”給到機器,如果回答正確,我們就要反饋“是”給到機器。機器就像是一個聰明的學生,通過觀察大量的例子,學會了如何在以后看到新圖片時準確地說出這是貓還是狗。
由此可見,監督學習的目標是使機器能夠從已知數據中學到一種通用的規律,并能夠在面對新的、以前未見過的數據時做出準確的預測。就像考試時學生能夠根據之前學過的知識來回答新的問題一樣。
百度首席科學家、Coursera的聯合創始人吳恩達(Andrew Ng),也是斯坦福大學計算機科學系和電子工程系副教授,人工智能實驗室主任,全球人工智能和機器學習領域最權威的學者之一。在2017年2月斯坦福MSx未來論壇上的演講時就提出,驅動百億的市場容量的,基本上屬于同一種AI:監督學習(Supervisedlearning),即用AI來確定A–>B的映射——輸入A和響應B的映射。比如用Email作為輸入A,判斷是否是垃圾郵件是響應B。
軟件可以學習這些輸入A到響應B的映射——有很多好的工具來讓機器學習。比如50,000小時的音頻和對應的文本,就能讓機器學到如何從音頻內容轉化為文本內容。通過大量的電郵數據和區分垃圾的標簽,也可以很快地訓練出一個垃圾郵件過濾器。
AI不是近幾年才開始有最佳實踐的,只不過因為ChatGPT的爆火,更多人開始關注AI領域,其實AI監督學習早就已經廣泛應用在我們生活中,比如AI幫助我們檢查網絡安全,AI語音助手能夠聽懂我們說的話,AI照片軟件能夠自動識別出照片中的人物,這些都是AI監督學習的成果。
二、監督學習的入門原理-感知器
了解監督學習的技術實現原理,可以先從感知器開始,感知器(Perceptron)是一種簡單的機器學習模型,是監督學習的基礎。感知器是Frank Rosenblatt在1957年就職于Cornell航空實驗室時所發明的一種人工神經網絡。
感知器是生物神經細胞的簡單抽象。在生物神經細胞結構中,包括樹突、突觸、細胞體及軸突。單個神經細胞可被看作一種只有兩種狀態的機器——激活時為‘是’,未激活時為‘否’。神經細胞的狀態取決于其它神經細胞輸入信號的數量和突觸的強度(抑制或加強)。當信號總和超過某個閾值時,細胞體就會激活,產生電脈沖。電脈沖沿著軸突傳遞,并通過突觸傳遞到其他神經元。
為了模擬神經細胞行為,感知器的基礎概念被提出,包括權重(突觸)、偏置(閾值)及激活函數(細胞體)。這些概念幫助我們理解感知器是如何模擬神經元的基本工作原理的。
回到感知器,其結構很簡單,它接收多個輸入(例如特征值),對每個輸入施加權重,然后將所有加權輸入求和。這個總和經過一個閾值函數(激活函數)處理,輸出一個二元的結果,通常是0或1。這個輸出可以被視為感知器對某個特定模式或概念的判斷。比如,他通過圖片判斷,是“貓”還是“狗”。
雖然感知器在解決一些簡單的問題上表現良好,但它有一些局限性,比如無法解決非線性可分的問題。隨著機器學習的發展,更復雜的模型如神經網絡逐漸取代了感知器在實際應用中的地位。然而,了解感知器有助于理解監督學習的基本原理和起源。
三、評估AI監督學習的實踐效果
接上段,我們提到了感知器模型,接下來我們就需要知道監督學習模型在真實世界的實踐結果,通過一些數據指標可以幫助我們更深入和全面的了解監督學習模型,也能幫助我們感知到監督學習的價值。
1. 準確率(Accuracy)
準確率是指模型正確預測的樣本數占總樣本數的比例。準確率是最直觀的性能指標,可以直觀地了解模型在所有樣本上的正確預測比例。
計算公式:
準確率=(真正例+真負例)/總樣本數=正確預測的樣本數/總樣本數
準確率是一個總體性能的度量,適用于樣本分布相對均勻的情況。然而,當類別不平衡時,準確率可能會失真,因為模型更傾向于預測占多數的類別。
場景應用:貸款申請
在貸款申請審核時,需要銀行或金融機構審核貸款申請,判斷是否批準貸款。使用準確率來評估模型在整個貸款申請數據集上正確預測是否批準的比例,確保準確決策。
總部位于美國加利福尼亞州的Upstart公司,其不斷打磨的AI風控系統就是公司的核心競爭力,AI風控模型中的回歸與分類算法屬于監督學習范疇,核心在于根據申請者實時變化的各種維度信息進行動態地參數調節。2018-2020年營收同比增速分別為73%、65%、42%,凈利潤于2020年年底回正,并于2020年末上市。
2. 精確率(Precision)
精確率衡量模型在預測為正類別的樣本中,有多少是真正的正類別。強調了預測的準確性。
計算公式:
精確率=正確預測的正例數/預測為正例的樣本數
精確率關注的是模型預測為正例的樣本中,有多少是真正的正例。在一些場景中,精確率比準確率更有用。
場景應用:垃圾郵件過濾
在垃圾郵件過濾時,需要識別和過濾垃圾郵件,確保用戶收件箱中的郵件質量。使用精確率來評估模型標記為垃圾郵件的郵件中,真正是垃圾郵件的比例,以降低誤報率,確保用戶不會錯過重要郵件。
微軟和谷歌已經在其電子郵件服務中使用了人工智能和監督學習來過濾垃圾郵件。2012年2月,微軟就已經聲稱,它能夠過濾掉Hotmail 97%的垃圾郵件。谷歌后來作出回應,稱它的Gmail能夠過濾掉大約99%的垃圾郵件。
3. 召回率(Recall)
召回率是指模型成功預測出正例(真實為正類別的樣本)的比例。
計算公式:
召回率=正確預測的正例數/實際正例數
召回率關注的是模型對正例的覆蓋程度,尤其在重視遺漏正例的場景中,召回率是一個重要的指標。但是,過高的召回率可能導致誤傷(將負例錯誤預測為正例)增加。
場景應用:網絡安全
在網絡安全監督時,需要檢測網絡中的惡意活動,確保盡可能多的識別潛在的安全威脅。使用召回率來評估模型在整個網絡數據集上正確識別惡意活動的比例,確保盡可能提高檢測到潛在威脅的幾率。
4. F1 分數(F1 Score)
F1 分數是精確率和召回率的調和平均值,綜合考慮了兩者。
計算公式:
F1=(2×精確率×召回率)/(精確率+召回率)
F1 分數對于處理不平衡類別的數據集很有用,可以在精確率和召回率之間找到平衡。F1分數的取值范圍在0,1之間,越接近1表示模型在精確率(Precision)和召回率(Recall)上的平衡越好。
場景應用:醫學診斷
在醫學診斷時,對于一些疾病的診斷,既要確保盡可能多地捕捉到患病者(高召回率),又要確保被診斷為患病的人確實是患病者(高精確率)。使用F1 分數綜合考慮精確率和召回率,幫助找到一個平衡點,使模型在患病者的識別中取得較好的綜合表現。
由廣州市婦女兒童醫療中心的夏慧敏教授、加州大學圣地亞哥分校的張康教授等專家組成的醫療數據智能化應用團隊,研發了一款名為“輔診熊”的人工智能診斷平臺?!拜o診熊”就是模仿醫生的診斷過程,把文本病歷轉換成輸入和輸出兩個對應的部分,輸入部分包含患兒的性別年齡等基本信息、身高體重等生命體征、以及癥狀、化驗指標和影像檢查標志物等,而輸出部分就是診斷結果。有趣的是,它的準確度與經驗豐富的兒科醫師差不多。
2019年2月12日,這項醫療人工智能研究成果以《使用人工智能評估和準確診斷兒科疾病》為題,刊登在了世界頂級醫學科研期刊《自然·醫學》(Nature Medicine)
5. 真負率(True Negative Rate)
也稱為特異性(Specificity),特異性關注的是模型在負類別上的性能,即負例被正確預測的比例。
計算公式:
真負率=正確預測的負例數 / 實際負例數
真負率衡量的是模型在負例上的識別能力,即在真實負例中,模型能夠正確識別為負例的比例。真負率越高,模型在負例識別上的性能越好。
場景應用:智能學習輔導
在個性化學習輔導時,需要智能學習系統準確識別學生可能存在的問題,確保模型不會誤將正常反饋識別為問題。使用真負率來評估模型在負例(正常反饋)中的性能,確保模型在分析學生反饋時不會產生過多誤報,提高正常反饋的準確性。
Jogoda.ai 作為目前教育融合 AI 智能體的典型案例,由德國程序員開發,是一款人工智能驅動的在線輔導工具,為各學科提供個性化輔助,包括數學、生物學、化學等,可以通過真負率來評估其智能AI模型是否可以真正了解學生的真實個性化問題,并提供解決方案。
6. 補充說明
精確率和準確率的區別在于,精確率強調的是在模型認為是正例的情況下,有多少是真正的正例,更專注于模型的預測準確性。準確率考慮整個數據集,包括正例和負例,關注的是模型的整體性能。
其中,精確率和召回率通常是相互矛盾的,提高一個可能會降低另一個。因此,根據任務的特性和需求,需要綜合考慮這兩個指標,甚至可以使用 F1 分數等綜合指標來綜合評估模型性能。
在實際應用中,選擇使用哪個指標取決于具體問題的特點和對模型性能的需求。
四、ChatGPT是如何通過監督學習來給出正確回復的
ChatGPT的訓練過程是一個復雜而深入的過程,它結合了無監督學習和有監督學習的元素,旨在使模型能夠理解和生成自然語言。下面我將揭示部分ChatGPT的訓練方法以及它是如何通過監督學習來給出正確回答的。
1. ChatGPT的訓練過程
1)無監督預訓練
ChatGPT的第一階段是無監督預訓練,這是一個規模龐大的學習過程。在這個階段,模型暴露于海量文本數據,從中學習語言的基本結構和規律。
這類似于一個學生在閱讀大量書籍并自學語言知識的過程。ChatGPT通過預測下一個詞的方式,不斷優化自己的語言理解能力,形成了對語言世界的抽象表示。
2)有監督微調
有了無監督學習的基礎,ChatGPT進入了有監督微調階段。在這個階段,模型接觸到了有標簽的對話數據,這些對話數據包含了對話的上下文和相應的正確回應。這相當于一個老師指導學生如何在特定對話場景中給出恰當回答。
ChatGPT通過比較生成的回應與實際標簽之間的差異,利用反向傳播算法來微調自身參數,以更好地適應對話生成的任務。
2. 監督學習中的模型優化
在有監督學習中,ChatGPT受到了標簽數據的指導,以便更準確地生成對話回應。監督學習的核心在于最小化模型生成結果與標簽之間的差異。通過損失函數的計算,模型調整自身參數,使其在特定任務中更為優秀。
在監督學習的框架下,ChatGPT通過對對話的上下文進行理解,并生成相應的回應。模型需要考慮語境中的信息、上下文之間的關聯,以及生成回應的語法和語義。這個過程中,模型的每一步都受到監督信號的引導,以更好地符合實際任務需求。
所以,在實際應用中,我們根據ChatGPT的回答,告知它我們對回答的滿意程度和新的要求,或者是借助一些prompt提示詞,來提升其回復的質量,都是在優化其模型,讓模型通過不斷地在有監督學習中接觸新的對話樣本,通過不斷地優化,提高其在特定任務上的表現。
3. ChatGPT在監督學習中的應用場景
當我們談論ChatGPT在監督學習中的應用場景時,實際上是在探討ChatGPT如何通過反饋,自我迭代學習,以便于更好地解決我們的真實問題。以下就是一些常見的應用場景,ChatGPT都可以給我們提供幫助。
1)應用場景1:在線教育輔助
想象一下,在一個在線學習平臺上,有很多學生提出各種各樣的問題,涉及到不同的學科和難度級別。通過監督學習,ChatGPT可以從老師和專業人士提供的答案中學到正確的回應。這樣,當有學生提出新問題時,模型就能更準確、更有深度地回答,提供個性化的學科輔導。
2)應用場景2:程序開發助手
對于程序員來說,ChatGPT可以通過監督學習來學習關于編程的問題和解決方案。它可以從開發者社區中獲取反饋,并逐漸理解和熟悉各種編程語言、框架和算法。這使得它能夠為開發者提供更具深度和實用性的編程建議。
3)應用場景3:醫學問答專家
在醫學領域,ChatGPT可以被訓練用于回答各種醫學相關的問題。醫生和專業人士的意見可以被作為監督信號,幫助模型理解病癥、診斷和治療方案。這為廣大用戶提供了一個更加可靠的健康信息來源。研究表明,ChatGPT可以回答真實世界的健康問題,并且在情感上更具有同理心和更高的質量。
最近??吹揭恍┨犹岬?,“AI只會淘汰不會使用AI的人”,ChatGPT的強大讓一部分人驚喜,也讓一部分人驚嚇。我們必須承認,工智能的廣泛應用已經在多個領域帶來了巨大的改變,涉及到工作、教育、生活等方方面面。
也許,我們也應該借鑒一下AI的“監督學習模型”,從不斷的反饋中糾偏和迭代自己,學習人工智能相關的技能,適應技術的發展,成為AI使用者或創造者,是更積極的應對方式。
五、產品經理如何將AI監督學習運用到工作之中
最后,我們從產品經理的角度出發來看AI,隨著自動化和智能化的發展,某些重復性高、機械性強的工作可能會被自動化取代。那些無法適應新技術、不具備相關技能的人可能會在就業市場上面臨更大的競爭壓力。
產品經理作為業務價值和用戶價值的操盤手,其自身也需要不斷適應和進化,學習一些AI的知識,將AI運用起來,已經是一條必經之路了。
“需求分析”是產品經理工作場景的關鍵一環。借助AI的監督學習模型,我們可以更精準地分析市場趨勢,理解用戶行為,為產品優化提供更有力的支持。
比如,產品經理可以學習如何運用監督學習中的分類算法,對用戶需求進行更深入的挖掘,洞察出真實核心的用戶痛點。
以下簡單舉例一些AI涉及的產品領域,希望對產品經理們有些啟發。
產品領域1:電商
如果你是電商平臺的產品經理,可以通過監督學習中的分類算法對用戶購物行為進行精準分析。你可以通過監督學習模型,預測用戶可能感興趣的商品類別,甚至可以個性化推薦商品。
例如,通過對用戶過去購物歷史的監督學習,系統可以學到用戶的購物偏好,從而在用戶瀏覽電商平臺時向其推薦更符合興趣的商品,提高購物體驗,同時促進銷售。
產品領域2:社交
如果你是社交平臺的產品經理,可以通過監督學習中的分類算法優化內容推送。你可以通過監督學習模型,分析用戶對不同類型內容的反饋,預測用戶更有可能關注的話題或發布的內容。
這樣,社交媒體平臺可以在用戶的個性化時間線上呈現更吸引人的內容,提高用戶留存率和參與度。
產品領域3:教育
如果你是在線教育平臺的產品經理,可以利用監督學習,分析學生的學習行為和學科偏好,預測學生可能感興趣的課程和學習路徑。
通過監督學習模型,平臺可以為學生制定個性化的學習計劃,推薦符合其學科水平和興趣的課程,提高學習效果,真正實現“因材施教”。
產品領域4:金融
如果你是金融平臺的產品經理,可以利用監督學習,分析用戶的投資偏好、風險承受能力等數據,為用戶提供個性化的投資建議。
通過監督學習,投顧系統可以更好地理解用戶的需求,提供符合其風險偏好的投資組合,實現更智能的資產配置。
無論你是搞電商、社交、教育還是金融或其他領域,都要來點AI的獨門技能。別怕,不是要你成為AI專家,但至少要知道AI是怎么一回事。就像開車不用成為修車大師,但要知道引擎是怎么個玩意兒。
別讓那些大模型和算法嚇到你,其實它們是另一種包著規則和邏輯的產品思維模型,而這些思維模型能給你的產品帶來更多可能性,也會給你的職業帶來更多驚喜。
未來屬于不斷學習和進化的人,只有持續提升自己的技能,才能在激烈的競爭中脫穎而出。
本文由 @果釀 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自 Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
太空洞了,最重要的一點,怎么應用只字未提