推薦策略產品經理實操(四):推薦內容診斷平臺
導讀:作為歸屬為推薦算法部門的產品,每天有非常多和單個推薦內容業務指標變化有關的問題需要解答,因此,推薦部門做了一個可供查詢的內容數據轉化平臺,便于運營或業務同學檢測游戲的數據轉化問題對應的原因。本文作者對此進行了分析,與你分享。
作為歸屬為推薦算法部門的產品,平時聽到比較多的關于推薦業務的問題就是:
- XX內容怎么曝光降了這么多?
- XX內容數據這么好,曝光怎么就是上不去?強插都上不去?
- XX為什么前幾天數據不好,這幾天數據變這么好……
非常多和單個推薦內容業務指標變化有關的問題需要解答,因此,推薦部門做了一個可供查詢的內容數據轉化平臺,便于運營或業務同學檢測游戲的數據轉化問題對應的原因,也便于我們發現推薦系統實際存在的問題,及時做出修改優化。
一、背景及目的
(1)為推薦內容提供透明化轉化漏斗查詢平臺
便于運營/商務/廣告等多方業務查詢問題,根據游戲在每一步的過濾、轉化、在大盤中的位置等信息,便于查詢游戲在每個步驟中的內部轉化情況,明確游戲的轉化路徑,及時做相關業務調整;
(2)根據數據異常內容推斷推薦系統存在的問題,及時優化
根據異常點擊率、時長、或突然大幅度變化的游戲數據,反推推薦系統某一步驟存在的缺陷,進一步優化系統;
(3)對比競品推薦系統,制定優化方向
對比競品app中能成為頭部或熱門的內容,對比自己平臺內容為什么沒有推出來或沒有到達同等高度,是合作問題還是哪一步存在的問題導致,進一步優化推薦系統;
二、平臺實現邏輯
平臺主要做在superset上,主要數據邏輯如下:
(1)首先是數據收集,需要將用到的所有數據都通過推薦后端落日志生成數據,其中用到最多的就是內容召回量統計和過濾量統計(如上圖),需要事先根據推薦流程進行數據規劃,這一步比較重要,后面的數據診斷,都依賴這一步的數據收集;
(2)其次是數據建表,這一步需要跨部門合作大數據部門,需要將日志中的數據依照某些特定維度進行建表,這一步主要是根據數據診斷的幾個維度進行建表,例如內容打分下發表、內容召回過濾表、內容黑名單表、內容時長分布表、內容打分在內容庫的排名等等,都需要數據處理;
(3)最后是數據表匯總,需要將之前的全部數據表,以游戲和時間篩選維度匯總到一起,形成一個游戲數據查詢平臺,其本質就是“單一內容的多表查詢”,到這一步,平臺基本上就搭建好了。
三、平臺數據查詢的幾個維度
推薦數據診斷平臺主要是用來做內容打分競爭力查詢、有掉量趨勢的內容監控及分析、有潛力的內容找不足進行優化、市面上競品的內容推出來而我們推不出來的原因查詢等。下面講幾個我們在實際使用中用到最多的幾個維度數據查詢,主要按照查詢順序講:
(1)內容曝光人數
這一步主要是確認內容數據表現是波動還是穩定的,如果曝光人數較少數據很好卻推不出來,大概率是數據波動或這一類內容只適合小部分人群,可以去其他人群上驗證這個問題,或進行強插驗證數據變化;
(2)內容召回-過濾次數對比
這一步上面第二部分也講了一些,主要是看內容是否會在某一步驟被大量過濾掉導致不出量,基本上在重排這一步做的某些策略會過濾掉大量的數據,以及粗排截斷的時候會過濾掉一部分曝光,或者命中一些現下的業務策略等,基本上都是這樣的情況;
(3)內容在各模型上的打分以及轉化率
這一步是比較直觀的數據說話階段,通常會發現內容的曝光起不來,多數和內容的高點擊低轉化相關,或者點擊率太低等原因,這一步如果需要優化,也可以聽過優化圖標或加角標的方式提升點擊率進一步提升轉化的方法解決;
(4)內容下發打分排名均值
有時候,游戲的數據很好,就是不起量,這個時候,需要對比的不是模型打分,而是內容在所有內容打分中的排序,這個數據能夠很直觀的看到內容在內容庫中的排名,是靠前還是靠后,對比同位置段的內容數據,基本差不多就不存在問題。
涉及的維度較多,就不一一展開講,這里主要是講一個查詢問題的思路,主要是需要在熟悉業務邏輯的基礎上展開的數據收集而生成的一個數據診斷平臺,因為業務不相同,大概率各公司的數據診斷都會存在差異,歡迎大家互相交流。
加油,打工人!
本文由 @王珂 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
求大佬微信
期待下一篇