在數字化浪潮的推動下，推薦系統已成為連接用戶與內容、商品和服務的橋梁。本文深入探討了推薦策略評估指標體系的定義，旨在為策略產品經理提供一套系統化的思維框架。

今天跟大家聊聊推薦系統當中的業務評估指標如何制定。我面試的時候也會問這個問題，很多同學在這塊會搞混，很多人會回答：精確率，召回率，AUC這些？

這些確實是衡量推薦模型本身的一些指標，為什么說這些回答本身也沒有大問題？

我們先來看看用模型的方式去解決問題的思路：

在問題建模階段，其中就有一項就是關于評估指標的確認，這塊主要是用來反映模型本身的效果，通常來說就是剛才說的精確率，召回率，AUC這些。

而這些指標通常是算法工程師比較關注的，那么很明顯這個問題關鍵在于業務評估指標怎么定義，所以就應該更多的從產品，業務的角度去思考。

像搜索推薦這種策略性產品，業務評估是一項必須要做的事情。通過業務評估的方法，發現當前策略中存在的問題點，對于優先級比較高的問題以需求和項目的方式推薦，這是策略產品經理主要工作之一。

在之前的文章當中，我不止一次提到過策略是業務的策略，撇開業務談策略都是耍流氓，因此對于推薦策略的評估也需要區分不同的業務場景。

今天我會給大家講一下當前比較主流的三大類業務的推薦系統的業務評估指標。

01 內容類場景

內容是一種比較常見的推薦結果形式，我們常說的內容不僅僅是指文字，還包括像音頻，短視頻，直播等新型的內容形態。

除了像今日頭條，抖音，騰訊新聞，微博，知乎這類應用存在大量的內容推薦策略，其實諸如淘寶，京東等電商業務也有很多的內容個性化應用。

最新改版的淘寶，首頁推薦feed流里面就包含了大量的內容推薦結果，而且還把“逛逛”內容社區搬到了第二個TAB上。無一例外，這些內容的背后都是無數個性化內容推薦策略運作的結果。

一般我們在評估類似這種內容場景下的推薦策略的時候，相比轉化，我們更注重用戶對內容信息的消費效率。因此對于這類型場景下的推薦效果我們更應該采用信息維度的指標去進行評估。通常包括如下幾個：

• 點擊數：內容被點擊的人數和次數
• CTR：內容的曝光點擊率
• 停留時長：用戶在內容feed，內容詳情頁的停留時長
• 閱讀深度：用戶對內容的瀏覽層級，通常通過單次瀏覽頁面的個數來衡量

上面這些指標通常是對內容類推薦場景下的策略效果進行業務評估使用的指標。

02 交易類場景

交易類場景則比較好理解，典型的比如淘寶，京東首頁的猜你喜歡，為你推薦中的商品feed。因為推薦的結果就是商品，所以此時推薦系統的目標就是讓用戶在該商品上進行下單，轉化。

很明顯的一個流程就是：商品推薦位-商品列表頁/詳情頁-購物車-提交訂單頁-支付完成頁。

相比內容類場景下，推薦系統注重對內容信息的消費效率，在交易類場景下，推薦系統則更關注用戶在此場景下產生的訂單量，訂單金額。

所以對這類場景下推薦策略效果進行業務評估時，常用的指標有：

1. CVR：訂單曝光轉化率
2. CTR：點擊曝光轉化率
3. 訂單量：由對應推薦位帶來的訂單量
4. 訂單金額：由對應推薦位帶來的訂單金額
5. 支付率：從提單到支付的完成率
6. 加車率：從商品詳情頁到購物車的轉化率

交易類場景上面五個是比較通用的，可以看出來交易類場景基本以當前場景為平臺帶來的收益為主。

03 體驗類場景

最后一個則無論是在內容信息，還是在交易成交類場景下都需要關注的：體驗類場景。

相比上面的兩大場景，我們可以用客觀的數據來進行衡量，體驗類場景則略帶主觀。

因此在進行綜合評估之前，通常需要認為制定一套團隊公認的評估標準，以指導體驗場景下對推薦策略好壞的評估。

雖然需要人為制定評估標準去規范整個評估的流程，但并不是說體驗類場景沒有對應的評估指標。下面幾個是常見的幾個指標：

1. 主動負反饋率：用戶主動反饋不感興趣的比率。
2. 品類多樣性：衡量推薦結果的豐富度
3. 用戶滿意度指數：通過case評測的方法來綜合評定策略的滿意度

上面三類就是對推薦策略常見的三種業務評估指標，還是那句話撇開業務談策略是耍流氓，同樣對于不同場景下的推薦結果的評估也需要制定不同的評估標準和指標。

當然在實際應用的時候，場景大多數情況下不是單一的。比如淘寶首頁推薦feed流，有商品，有內容，也有短視頻等，所以很多時候我們要綜合考慮多場景的評估。

以上希望能給你帶來啟發。