數據漂移(Data Drift):AI+產品的隱形風險
在AI+產品的開發中,數據漂移(Data Drift)因其隱蔽性和普遍性,成為一個繞不開的話題。這篇文章就來聊聊關于數據漂移的特點、影響和應對措施。
先來看一個案例:產品經理小明,被公司要求上線一個AI客服問答的功能。這是他第一次接觸AI類的產品開發,小明根據以往產品開發的經驗,設計功能、與開發團隊對接、驗收通過之后,成功為公司上線了能回答客戶常見問題的AI客服。
但是上線沒多久,出乎小明意料的情況發生了:越來越多的用戶開始抱怨這個AI客服的回答不準確,甚至有時完全答非所問。小明非常驚訝:明明模型和產品設計都沒有發生變化,為什么上線前非?!奥斆鳌?、對答如流的大語言模型,上了線之后就變得“遲鈍”了呢?
這涉及到我們今天要討論的主題:數據漂移(Data Drift)。
一、數據漂移:AI產品“獨一份”
什么是數據漂移(Data Drift)?
從機器學習開始,數據漂移的現象就為研究者發現。它指的是在AI模型訓練時,(隨著時間的變化)訓練時的數據和實際應用場景中的新數據之間產生了顯著變化,而且這種變化會導致模型性能下降,表現為輸出的準確性下降、相關性下降或預測效果的減弱。
數據漂移通常會表現為兩種形式:特征漂移和目標漂移。
- 特征漂移(Feature Drift)指的是模型輸入數據的統計特性發生變化。比如,某個字段的數值分布變了,或者輸入數據的結構發生了變化。比如零售行業中某AI推薦系統在假期期間表現下降,原因是用戶在假日中的行為習慣(新數據)和他們的日常購物習慣(訓練數據)發生了明顯變化。又比如,企業內部RAG模型使用的知識庫沒有隨著業務更新而更新,導致生成的答案失去時效性和準確性,等等,這種都屬于數據的特征漂移。
- 目標漂移(Label Drift)指的是模型預測目標本身的定義或含義發生變化。比如某保險公司AI客服在新政策推出后無法準確回答相關問題,因為用戶的問題和政策的重點發生了變化。又比如,情感分析模型在社會熱點事件期間表現不佳,因為“積極”或“消極”評論的語言風格發生了變化。
數據漂移在不同的行業中表現不同,但它們的共同點都會影響產品的準確性和用戶體驗。
回到上面產品經理小明的案例,由于小明上線前所采用的用戶提問訓練集(訓練數據)比較老舊,并沒有覆蓋真實用戶的所有問題類型,所以才導致訓練集和上線后真實用戶提問(新數據)之間存在明顯的差異。這就是一個典型的由特征漂移引發的問題。
數據漂移還有以下三種特點,讓人不得不防:
- 不確定:AI模型依賴數據“學習”,而數據的變化會直接改變模型的有效性。傳統互聯網產品中,邏輯和功能是固定的,而AI產品卻需要應對變化。
- 隱蔽:通常需要通過一段時間監測或用戶反饋才能間接發現。
- 普遍:幾乎所有涉及AI的應用——從客服機器人到預測分析——都可能受到數據漂移的影響。
二、產品經理能做什么?
既然數據漂移普遍又隱蔽地存在于各類AI產品之中。那么,產品經理在面對數據漂移時,能夠做什么呢?
- 建立高效的用戶反饋機制:前面提到“數據漂移”的一個重要特點就是“隱蔽”。如果我們在產品上線后沒有有效的手段對用戶的使用情況進行跟進和反饋,就很有可能錯失調整的最佳時機。所以,想辦法及時獲取真實用戶的使用信息很重要。比如設計反饋按鈕,收集“無關”或“不準確”的問題;或者設定并持續跟進體驗指標(如回答準確率、用戶滿意度等),都是不錯的方式。
- 建立知識更新的規則:和技術/業務團隊規定知識庫的更新頻率和方式,確保知識庫的時效性。比如,讓技術團隊通過一定的技術手段自動同步企業知識庫,確保RAG模型能實時檢索最新信息;或者與支持內容的團隊約定好更新知識庫的周期。
- 周期性重新訓練模型:當然,最直接改善數據漂移的方法自然是定期更新數據集并優化模型。不過這通常需要公司有足夠的算法支持的資源。如果沒有的話,做到第1、2點也能很大程度改善數據漂移的問題。
三、反思
我們團隊在剛剛接觸AI產品之初,也倍受“數據漂移”的困擾。不過研究和處理這個技術現象的過程,也讓我們對如何做好AI產品有了更多的反思,總結并分享如下:
1. 接受AI產品的不確定性
和傳統互聯網產品相比,AI產品的動態變化和不確定性都要高得多,往往在上線需要持續優化并適應動態數據環境。產品經理需要學會面對和管理這種不確定性。
2. 破除“上線即完成”的行為惰性
其實,無論是互聯網產品還是AI產品,“上線”都應該只是起點,而非終點。尤其是AI產品中,運營迭代的重要性不言而喻。持續地做好用戶數據的監測、反饋機制以及優化要貫穿于整個產品的生命周期之中。
3. 產品經理是一個跨職能、高延展的崗位
數據漂移的解決并不只是有技術改造一個方式,業務理解、知識團隊的協作都可以解決這個問題。但這也要求產品經理自身對業務需求、用戶反饋和技術實現都有充分的理解。在AI產品中,對產品經理跨界的學習和協作能力提出了更高的要求。
本文由 @AI 實踐干貨 原創發布于人人都是產品經理。未經作者許可,禁止轉載
題圖來自 Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務
- 目前還沒評論,等你發揮!