推薦策略產品血淚避坑指南:badcase排查全流程解密

0 評論 1444 瀏覽 1 收藏 10 分鐘

推薦系統并非完美無缺,它也常常會遇到各種“壞案例”(badcase)。這些問題不僅影響用戶的滿意度,也對推薦策略的優化提出了挑戰。本文將深入剖析推薦系統中badcase的排查全流程,供大家參考。

在我從事推薦策略的歷史長河中,總有兩個靈魂問題常伴著我:

1.這篇為什么給我推?

這條內容質量太差/我明明點了負反饋/數據不好沒人看,為什么還給我推?

2.這篇為什么沒給我推?

我明明點擊并評論了某個電視劇的內容,為什么后續沒有繼續給我推?

我在其他平臺都能刷到珠寶首飾內容,為什么在你這就刷不到?

推薦是黑盒,排查起來并不容易。

早期當我接到badcase的時候,會有一種別扭、無力的感覺。一方面,推薦黑盒到抓任何一個開發來都無法描述其全貌。另一方面,推薦系統應以數據導向,而不是badcase導向,不去計較一城一池的得失,方能實現整體數據的庫庫提升。話都沒錯,以至于我經常用這些冠冕堂皇的理由搪塞過去。

但問題并沒有解決。

時隔三年,這次用badcase開篇,就是想警示自己:

1.不要先入為主地認為用戶在無理取鬧。弱小和無知不是排查的障礙,傲慢才是。

2.別被推薦系統唬住,懷著敬畏和耐心查到底,真相即便不在當下浮現,也會在下次、下下次本地調試的時候向你走來。

排查,并非是拒不掉的臟活兒,而是了解用戶、了解推薦的機會。

一、Badcase:為什么給我推?

用戶在抱怨的時候,通常認為這篇內容:質量不佳/不感興趣/低互動。

這條內容質量太差/我明明點了負反饋/數據不好沒人看,為什么還給我推?

質量不佳的case,往往需要審核、運營、模型通力合作、上下一心,將低質內容標記出來,不管是粗暴過濾也好、做精細的用戶容忍度策略也罷,是個結構性問題,這里不做展開。

不感興趣/低互動 這兩類排查方法一致。查已推薦出來的內容,一般倒著看:用戶-接口-重排強插規則-精排-重排過濾規則、提權降權規則-過濾器-召回

這個問題相對來說比較好查,我直接羅列原因:

  1. 是否是新用戶?新用戶階段,用戶行為很少很少甚至沒有,推薦把握不準興趣是正常的
  2. 進入兜底或關閉推薦模式?推薦策略和模型失效
  3. 重排規則性強插出來。通常見于運營策略、保量和試投策略,低互動內容有可能在這里被拽上來
  4. 精排模型打分排序高,被自然排序出來。如果是多目標的預估模型,還需要更詳細的分目標的預估分數日志,再進一步排查和這個目標相關的特征以及訓練、歸一化的方式。比如互動預估分數很高,可以排查互動特征的可信度,是否容易被攻擊?
  5. 為滿足重排對其他內容的打散、提權、降權策略,把精排模型打分不怎么高的給排上來了
  6. 過濾器或者降權沒有干掉這些內容。badcase有重復推薦、相似推薦、低互動的內容推薦、用戶點了負反饋仍繼續推薦、用戶持續不點擊還是推薦,這時候得分情況設計策略如強負反饋過濾、隱性負反饋降權
  7. 召回這一步容錯率很高,故不會苛責召回,但如果大量用戶都出現了不該出現的內容,召回可以抽象出來共性,作為改善方案之一

二、Badcase:為什么不給我推?

這幾乎是推薦系統中的無頭冤案了,需要從前往后查,甚至要追溯到盤古開天辟地之時。

用戶的抱怨通常分兩種:我點過的內容沒給我推/其他平臺推的內容沒給我推

我點過的內容沒給我推

我明明點擊并評論了某個電視劇的內容,為什么后續沒有繼續給我推這個電視???

這時候的排查鏈路是:點擊歷史-召回-找排查標的-過濾器-粗排-精排-重排

1.排查用戶點擊、評論數據通路是否生效,端上埋點再到后臺的點擊歷史記錄是否正常。

2.排查應用點擊計算用戶偏好的召回里是否有這類內容。但我們手頭上沒有這類內容的集合怎么辦?

3.先找內容標的。用戶提供內容id固然好,若是泛指,則需要我們自己搜羅。從內容庫篩出具體特征,如標題、標簽或者類別包含某個關鍵詞,或者和他瀏覽內容向量相近的內容。你會得到內容id的列表。將用戶的曝光歷史、瀏覽歷史和內容id列表做比對,濾出用戶沒有曝光和瀏覽的內容列表,作為排查標的。

要是發現篩不出來多少甚至沒有了,需要向上游提需求補充內容,此刻推薦這邊排查基本結束。

有且有一大堆標的內容,就繼續向下排查。

4.召回列表里沒有標的內容

可以去排查某幾個重點召回的索引。索引里有內容卻沒被召回,需要找召回開發一起排查,比如召回有做虛假點擊處理,或者召回排序沒有偏向這類內容,上限滿了把這些內容截斷了。若召回索引里也沒有,但我們標的內容很充足。需檢查召回索引用的內容池是否有這些內容?這時候會發現內容池的漏洞,補充上就完事了。

5.召回列表里有標的內容,繼續排查是否被過濾器過濾,優化過濾器。

6.過濾器清白,就排查粗排和精排,他倆對這類內容打分可能不高。

涉及到黑盒的排序環節,需要開發協助排查。理論上,無論用戶興趣豐富與否,近幾次的點擊都是很好用的特征。

7.若是打分高呢?可能在重排環節被調了位置。這時候排查重排規則,通常是提權降權打散,可以適當做一些瘦身。

其他平臺推的內容沒給我推

我在其他平臺都能刷到珠寶首飾內容,為什么在你這就刷不到?

這時候原因還是比較明確的:這類內容數據效果一般,自然也就很難協同出。

至于為什么效果一般,有可能是特征不夠準確,致使這些內容都在試投階段飛蛾撲火;也有可能是生產質量需要改進。改善這類內容的數據效果需要和推薦策略同時進行。

策略層面如何托舉這類內容,讓它更容易出來呢?增加探索強插固然見效快,但推薦是平衡沉浸感和新鮮感的藝術,更為推薦的方法是:補充特征讓它更容易被自然協同出來。珠寶是女性愛看的,看看珠寶內容的消費數據有沒有很強的性別傾向性?可以考慮在精排模型增加用戶性別特征和內容性別點擊率特征、增加用戶性別協同召回等等。如果還是出不來,說明這類內容的數據效果還是無法脫穎而出,強扭的瓜不甜。在資源有限、產品有自己基因的前提下,上下游很難顧及所有品類。

三、寫在最后

用badcase創造goodcase,才是策略產品經理的使命。記得用數據分析開場、用A/B測試數據優雅收尾。

當然了,道理都懂,實際情況總有很多不得已。只愿你享受追尋真相的過程。

本文由 @鹿的策略產品思維 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!