推薦策略產品大廠案例實踐必讀——美團外賣Feeds動態交互推薦
互聯網的快速發展給平臺們帶來了更多機會和挑戰,本篇文章從交互式推薦誕生的背景、難點與挑戰出發,以美團外賣Feeds動態交互推薦為例,分析了美團交互式推薦搭建的主要工作,并評估了其運營效果。一起來看看吧。
之前和大家分享了這么多和推薦、搜索相關的策略,今天想給大家講一講兩個策略融會貫通、相互交織的應用場景。各家大廠信息流推薦中尤以電商類APP推薦最為推崇的實時反饋推薦功能——動態交互。
動態交互策略設計本意是借助用戶的實時發生興趣行為作為觸發進行召回、排序,在Feeds推薦位吸引用戶眼球有限的空間內實現“二次”精確推薦,從而提升推薦系統的坑位CTR點擊率效果。
當然,其背后也蘊藏著策略產品對于業務場景的思考,怎么充分利用用戶即時性行為的Trigger,怎么在用戶行為之后再利用用戶的有限視覺空間,給客戶展現出即時行為相關性最高的物料item,所以還是說真正的策略是來源于真實的業務場景驗證推演,而非天馬行空的假想。
一、背景與挑戰
之前推薦系統的多篇文章都提及,在同一個APP場景中推薦系統CTR、CVR相較于搜索的結果會偏低,這是幾乎是無法改變的事實。這種現象存在的原因就在于推薦系統需要去猜測、預測用戶在推薦位的興趣(不然淘寶的推薦位也不會叫“猜你喜歡”),這種猜測是永遠沒有用戶主動表達搜索Query詞來召回排序的結果精準。
那有同樣的設計思路遷移至推薦系統當中,沒有一種可能我們借助用戶的某些實時連續觸發行為(例如用戶推薦item的點擊行為、加購、互動等發生在轉化之前的行為),作為觸發trigger來實時召回->排序商品,通過識別”主體”之間相關性,來快速的實現精準推薦,從而提高推薦位整體的CTR點擊率。
如上圖所示,我在淘寶首頁“猜你喜歡”推薦位點擊完“日式工裝休閑短褲商品”退出商品詳情頁(拼多多點擊了保健商品然后退出返回),即時就在在推薦信息流插入了基于我發生的點擊行為作為觸發一個商品卡片,并且交互卡片有四個相關商品坑位都和我點擊的這個主商品建立了一種聯系。
目前看上去,這種聯系可能是基于商品的主標題中的屬性詞——工裝褲Query詞做召回、也有可能是同三級類目下的規則熱品Top Sale做的召回,同時也有可能是同品牌Brand_id做的召回。
不管什么方式,作為策略產品的我們都希望對用戶發生的點擊行為做正樣本,基于這個點擊行為去“庖丁解?!眮碜鱿嚓P性召回,而這次的點擊行為就是我們推薦系統中的銀彈——推薦版query詞,真正找到用戶感興趣的商品。基于這個思路,動態交互式推薦得以誕生。
1. 交互式推薦的定義
交互式推薦是一種互動式實時推薦產品模塊,主要通過理解用戶需求、以互動的方式進行推薦。交互式推薦由Youtube在2018年提出,主要用于解決視頻網站中推薦系統的延遲和與用戶互動偏弱的問題,一經推出在推薦系統的同位置坑位下帶來了明顯的點擊率提升,成為國內各家互聯網公司的熱捧。
既然如此,我們就找一家大廠的項目來進行詳細策略拆解,這里我們可以用美團來舉例(各家的業務場景不同做法不同,但是動態交互的核心思想一致,深知其“道”實踐其“術”即可)美團外賣推薦技術團隊在外賣首頁Feed信息流上持續進行探索,2022上半年完成全量。具體流程如下圖1-3所示:用戶從首頁Feed進入商家詳情頁并退出之后,動態地插入新的推薦內容到用戶推薦列表中。
可以看出來,美團外賣首頁Feeds做動態交互推薦,就是在用戶即時興趣上進行捕捉,收斂用戶的意圖,在用戶可視性范圍內插入動態交互的結果,最終輔助客戶做決策。
2. 美團搭建交互式推薦的問題與挑戰
從外賣場景出發思考美團搭建交互式推薦的難點主要存在以下幾個部分需要思考:
- 在外賣場景下,如何更好地匹配用戶實時需求,搭建出一套適用于外賣的、基于端智能框架的推薦系統是首要解決的問題。
- 交互式推薦只做單一模塊的優化是不夠的,還要考慮首頁Feed整體的訪問購買效率。那么,如何選擇優化目標,以及如何衡量效果和收益。
- 外賣首頁Feed是以商家為主的單列列表,如何避免交互在用戶的選擇路徑上帶來的“干擾感”,在合適的時機觸發交互式推薦的問題。
- 如何更好理解用戶即時性意圖,如何利用首頁Feed列表推薦結果優化交互式推薦的單商家卡片的問題。
3. 實驗關注核心、輔助指標
交互式推薦核心評估收益指標還是推薦首頁信息流Feeds的整體轉化效率CTR、UV_CXR(即交易用戶/曝光人數)。但是同時首頁在用戶成單方面其實出現了“擠壓”效應,只有訪購效率提升才能撬動整體的效率提升。
不僅如此,我們實驗需要觀測輔助指標,為了評估交互推薦插入后的Feed曝光量,需要增加首頁曝光Page占比來衡量覆蓋面,同時引入交互式卡片曝光PV占比(交互式卡片曝光量占首頁Feed曝光量的比值)、曝光UV(曝光交互式卡片的用戶占首頁Feed曝光用戶的比值)占比輔助觀測對首頁Feed的影響。
二、交互式推薦核心工作
1. 整體鏈路的搭建
美團外賣交互式推薦策略在設計之初就應該清楚“4W1H”的設計原則,
- Where/How:交互式的卡片展示具體位置?展現的具體形態
- Who/When:交互式推薦需要對什么樣的用戶觸發?什么時機觸發?
- What:交互式推薦需要展示什么具體的內容?
如上圖所示,給大家簡單介紹整個數據流。整體的設計就圍繞用戶發生點擊行為之后,交互式推薦卡片的展現過程。
第一步,從客戶的點擊行為調用意圖理解引擎,再進入特征處理計算和存儲,并且將特征傳遞給客戶端組裝推薦請求應用服務.
第二步,推薦請求由應用服務透傳混排服務,再由混排調用商家推薦模塊,經過召回、排序、機制、透出階段,最終返回客戶端進行展示。
2. 產品展示樣式
在產品展示樣式上,美團其實做過幾個版本的探索和嘗試。包括多商家聚合卡片如下圖(應該是借鑒了淘寶的“點后推”動態交互)、單個商家聚合卡片類型。并且做了動態交互前插、后插兩種類型。
最后實驗的效果【多商家聚合】VS【無交互式推薦】的科學AB結果,反而GMV -0.45%,UV_CXR(即交易用戶/曝光人數)-0.28%;【單商家卡片】(最終方案)VS【無交互式推薦】GMV+0.10%,UV_CXR(即交易用戶/曝光人數)-0.01%;
可以得出結論:單列表的原生性卡片對客戶干擾更小,并且客戶的決策鏈路更短,因為搜索詞推薦、多商家聚合推薦的形式都需要搭建落地集合頁,增加一個漏斗環節就會導致擁護跳失問題,這與我們希望提升點擊率、最終的成交金額的目的背道而馳。
3. 用戶意圖理解
交互式推薦,推薦系統需要感知清楚客戶在“此時”交互意圖的觸發背后的原因和APP里面C端動線。主要拆分兩個部分:
- 用戶有哪些行為觸發交互式推薦;
- 交互式推薦之前如何理解客戶的即時意圖。
1)首次觸發意圖
首次觸發意圖的設計主要考量交互式推薦結果的觸發行為意圖執行度和曝光量、覆蓋用戶數的平衡,這樣也有利于積累樣本量幫助后續做策略迭代。所以選擇首頁Feed進店立即觸發作為首次觸發策略比較合適。
2)連續觸發策略
連續觸發策略背后的思考就在于用戶進入到外賣店鋪頁面、具體的外賣單品落地頁之后,在落地頁停留時長增加、對于新菜品產生點擊、加購、看評價以及領券等行為特征,這個行為逐漸更加明確用戶購買外賣的行為,所以此時連續觸發策略會多次向服務端發生請求更新推薦結果,不斷的對客戶意圖的校準。
3)用戶實時需求的理解
這一塊主要是為了提升用戶意圖理解的失效性,借助端智能和實時數據流的能力,突破分頁請求的弊端,根據用戶行為去更好理解用戶需求,減少反饋信號延遲問題。用戶點擊商家卡片后在店鋪里面的主要行為都是更好的理解客戶的實時需求。
4. 推薦排序策略
交互式推薦雖然只展示一個商家卡片,但是也需要準確理解用戶實時的外賣需求,所以針對這個卡片位置也要走我們經常聊到的“召回->排序->機制->樣式透出”的鏈路,不斷提高匹配度。
1)召回&過濾
主要分成兩步:分別是利用多路召回的算法類型來召回附近的百個候選POI外賣商家。另一個是利用相似品類過濾方案來過濾當前用戶意圖大相徑庭的商家,并且將候選結果傳給排序階段。為了理解用戶的即時性意圖,提出了Item2Item的Multi-Trigger召回和相似品類過濾方案。
新增召回:美團外賣推薦系統當中的多路召回除了常見的協同過濾、熱門Top Sale以及向量召回的方式以外,美團新增了對于意圖理解關注的提出了Item2Item的Multi-Trigger召回方法。以上述說的點擊行為首次觸發、加購、關注收藏等等連續觸發去Trigger,召回更多符合即時意圖商家候選集合,當然每個用戶Trigger的數量不同,最終召回的商家數量也不相同。數量滿足N/M(N是I2I Multi-Trigger召回的POI總數,M是Trigger數量)。
業務規則過濾:記得文章開頭提到的,其實即時動態交互的召回其實類似一個“搜索”行為,那么基于不對召回做業務規則的干預。考慮是否可以將“同葉子品類”策略做在了召回環節,約束曝光交互卡片商家,但是單獨做硬規則的約束會粗暴導致物料量級的驟降。因此美團這邊通過商家口味、消費者相似性、商家商品分布等因素通過聚類(類似K-Means)實現相似品類的定義,更加滿足新穎性和多樣性要求。最終實驗結果如下圖所示:
2)排序
排序最重要的就是先要確立以什么業務目標進行建模,很顯然主要的目標就是預測主要任務是預測CTR、CXR(曝光轉化率)。排序模型優化中可能存在樣本分布差異、訓練樣本少的問題,并且直接用首頁Feed的推薦模型匹配度(訓練樣本都不一樣,無法適用),簡單做法還是需要直接對交互式推薦的正負樣本進行訓練。
在首頁推薦模型上,選擇了Fine-tune的排序模型,同時充分利用用戶實時需求理解的模塊來優化模型效果同時兼顧算力資源約束,構建的模型結構如圖1-9所示。
模型總體結構:Embedding向量數據(包含商家特征屬性、用戶特征行為數據、上下文特征、觸發交互式推薦特征、序列特征-實時曝光、點擊等序列)。
排序優化結果:交互式推薦排序模型與直接用首頁信息流排序模型對比效果還是提升明顯。Fine-tune排序結果優化效果如下圖所示:
機制部分:核心目的主要是根據不同業務目標做調整。最終考慮在兼顧新穎性的目標條件下,按照預估CXR排序,最大化卡片和列表轉化效率。同時還考慮了負反饋、體驗優化相關的策略:
- 負反饋策略:即Arthur之前在媒體策略負反饋策略中介紹的重復曝光過濾、已購買過濾、還有外賣場景中獨有的配送過遠過濾等策略應用,這些都是一些data-driven或者是硬規則的過濾,主要通過odps或者hive表的方式進行過濾即可,在此不做贅述。
- 交互體驗策略:更多探索新穎性目標等給出推薦新體驗。同時加強推薦理由的說明,提升推薦結果的可解釋性。
透出部分:透出階段的目標主要是考慮機制最終透傳排序的Top 1結果是否展示給用戶。
上圖中商家展示區域劃分為ABCD四個區域:交互式推薦插卡位置(A)、觸發商家(B)、觸發商家上文(C)、觸發商家下文(D)。由于核心關注Feed轉化率,所以交互式推薦比同上下文的pCXR高時候,商家才被曝光。
需要思考的點在于:交互式推薦商家A的pCXR要比對比商家高多少(比例系數α控制)才應該被展示?
- 上文C區域已經瀏覽過,成交的概率很低,并不適合作為展示的位置。
- B區域雖然是點擊觸發區域但是商家曝光已經是前文聚類中的佼佼者,很難找到pCXR更好的商家,無法保證展示的新內容會更加優于目前客戶點擊的位置。
- D區域用戶未瀏覽,插卡動態效果會被注視,因此做對比最適合。
實驗結果:證明,當交互式推薦卡片對比下1位商家卡片的pCXR更高時,其同位置訂單增量最高,曝光頁面Page占比損失最少,策略最優。對比下N位pCXR均值,隨著N的變化,交互式卡片的曝光和效率也會影響。其效果與直接調整pCXR的過濾閾值α等同。在實際生產環境中,選取“交互式推薦同位置訂單增量”較高時的參數α即可,這里取1,以下是展示位置變更的實驗效果:
三、交互式推薦的總結
交互式推薦也是各家大廠推薦系統常見的一種提效策略,在召回、排序模型(各種特征交叉)模型效果日益見頂的今天,單靠模型實現K線式跳變已經幾乎不可能,算法的工作也日漸陷入瓶頸期,作為業務和策略結合的owner,策略產品應該需要主動擔當起來對客戶動線需求、業務的觀察,積極從業務上找到新的增長金礦。
我個人看來搜索策略的底紋、搜索Suggestion,推薦的動態交互都有異曲同工之妙,本來推薦系統和搜索當中都沒有所謂真正的“銀彈”,有的只是各位對行業領域熱情,對業務真正洞察的結果。動態交互個人將其視為推薦和搜索策略的優勢與特點的結合,通過對用戶即時興趣的挖掘觸發,快速的定位用戶的興趣,提高推薦坑位的效率,這是真正為業務增效的結果。
整體看美團在整個實現當中取得了明顯的收益,整體的項目AB評測效果如下。
- 首頁Feed千人成交額+0.43%,首頁Feed曝光新穎性+1.16%。
- 交互式卡片相對下一位自然商家的轉化率+132%。
未來推薦系統的交互式推薦Arthur個人認為還可以承載更多的產品形態、業務目標(結合新穎性和多樣性的建模目標,來去做互補推薦、衍生式推薦的)。并且還可以在媒體廣告動態adload當中去拓展廣告的曝光,以提升廣告的收入,或者是與自然推薦的相互穿插來提升整體推薦的GMV,都是我們可以思考的方向,勉勵大家用實踐去勇敢驗證自己的推演方案是策略產品最好的需求來源。
本文由 @策略產品Arthur 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
嘎嘎給力的文章。請問如何?v 交流溝通