一個推薦系統的好壞實實在在影響著用戶使用產品的感受，我們如何判斷推薦系統的好壞？一個好的推薦系統需要注意哪幾點？

生活中，我們對推薦系統一點都不陌生，甚至會天天接觸。相信我們很多人都有這樣的體會：

• 我們經常信誓旦旦地說“就玩10分鐘抖音吧”，但往往是一刷不知不覺2小時就過去了；
• 我們如果在淘寶上買過一件衣服，卻總是能在首頁或者詳情頁看到一些心儀的裙子、褲子，甚至鞋子，然后繼續開啟剁手黨的買買買模式；
• 作為熱愛流行歌曲的音樂發燒友，今天心情很好，但是卻不知道聽什么，我們點開了音樂app，打開里面的【推薦歌單】，每首都不一樣，每首好像都能觸達心靈。

這也許就是推薦系統的美和魅力吧！

什么是好的推薦系統?

一個推薦系統，往往存在3個參與方：用戶、物品提供者、提供推薦系統的產品。

1. 從用戶角度說，好的推薦系統不僅僅能夠準確預測用戶的行為，而且能夠擴展用戶的視野，幫助用戶發現那些他們感興趣，但卻不那么容易發現的東西。
2. 從物品提供者角度說，好的推薦系統，能夠幫助他們將那些被埋沒在長尾中的好東西，介紹給可能會對他們感興趣的用戶。

好的推薦系統是一箭雙雕的，能優雅的幫助用戶和物品提供方解決問題。

作為推薦系統的產品經理，除了我們主觀去評估推薦系統質量，那么還有哪些客觀指標可以評估一個推薦系統的質量的？

1. 用戶滿意度

用戶作為推薦系統的重要參與者 ，其滿意度是評測推薦系統的重要指標，通常通過用戶調查和用戶在線行為分析獲得。

（1） 用戶調查

用戶調查主要是通過問卷的形式進行，用戶對推薦系統的滿意度往往分為不同的層次。

我們之前做過對獵頭推薦職位的調研，問卷中有個問題是，請問下面哪句話最能描述你看到推薦結果后的感受？

• 選項1，推薦的簡歷都是我非常想看的；
• 選項2，推薦的簡歷很多我都會看，確實符合我興趣的不錯簡歷；
• 選項3，推薦的簡歷和我負責的領域相關，但是不是我當前想找的候選人；
• 選項4，不知道為什么會推薦這些簡歷，都不是我感興趣的。

調查問卷需要從不同的側面詢問用戶對結果的不同感受。

如果只是問用戶是否滿意，用戶可能心里會認為大體滿意，但是對某個方面還是有點不滿意，因而會很難回答這個問題，即使回答了，我們在統計分析結果的時候也會不知所措。

（2） 在線行為分析

在線行為分析，也就是常說的用戶點擊率、停留時間和轉化率等指標來度量。

當我們閑來無事，想逛逛某寶的時候，首頁會推薦一個商品列表，如果我們滿意，我們就會點擊某個商品，而且還很可能會購買商品。

用戶的點擊率、停留時間和購買轉化率，都能很客觀的反應我們的滿意度。

很多做內容推薦的產品，比如頭條，會主動提供用戶是否滿意的入口 ，用戶可以直接反饋對該條內容不感興趣。

• 反饋垃圾內容
• 拉黑作者
• 屏蔽等操作

通過用戶的直接反饋，也可以度量系統的用戶滿意度。

2. 預測準確度

這個指標是推薦系統預測用戶行為的能力，是一個非常重要的離線評測指標。

首先，準備一個離線的數據集，包括用戶的歷史行為記錄；然后，將該數據集通過時間分成訓練集和測試集；最后，通過在訓練集上建立用戶的行為和興趣模型，預測用戶在測試集上的行為，并且把計算預測行為和實際行為的重合度作為預測準確度。

（1）用得比較多的是我們常常見到的評分系統：

很多網站，不管是買了衣服，還是看了一部電影，都會提供一個讓用戶給物品打分的功能。這樣我們就能知道用戶對物品的歷史評分，從中學習用戶的興趣模型，并預測該用戶，會給沒有評分過的物品打多少分。

（2） 還有一種比較常見的topN預測準確度：

假如我們已經獲取到用戶歷史觀看電影的記錄數據：

• 集合A：根據用戶訓練集上的行為，給出的推薦電影列表；
• 集合B：用戶在測試集上實際會點擊的電影；

那么:

準確率=（A與B的交集）/ A

召回率=（A與B的交集）/ B

這個評估指標重點是：找出用戶最有可能看的電影。

3. 覆蓋率

描述一個推薦系統對物品長尾的發掘能力。

覆蓋率=能夠推薦出來的商品數量/總物品數量

以圖書推薦為例，出版社可能會很關心，他們的書有沒有被推薦給用戶；覆蓋率為100%的話，說明推薦系統可以將每個物品都推薦給至少一個用戶。

除了圖書都能被推薦出來，每本書被推薦出來的次數也是很關鍵的。如果所有的物品都有機會被推薦，且推薦次數差不多，那么說明覆蓋率越好。

大家可能都聽說過“馬太效應”，就是所謂的強者更強，弱者更弱。一般的熱門排行榜就有馬太效應。

但是推薦系統的初衷是希望消除馬太效應的，這個也是推薦系統魅力的體現。

4. 多樣性

盡管用戶的興趣，在較長的時間跨度中是不一樣的：在一個視頻產品中，用戶可能即會看《蠟筆小新》這樣的動畫片，也會看《權利的游戲》這樣的史詩奇幻題材的電視劇。

但具體到用戶訪問推薦系統的某一刻：其興趣往往是單一的，那么如果推薦列表只能覆蓋用戶的一個興趣點，而這個興趣點不是用戶這個時刻的興趣點，就不會讓用戶滿意。

相反，如果推薦列表比較多樣，覆蓋了用戶絕大多數的興趣點，那么就會增加，用戶找到感興趣視頻的概率。

這里就用到逆向思維來看！

我們通常會去計算物品和物品之間的相似性，因為多樣性和相似性是對應的。而計算相似性，往往通過物品的以下幾方面進行：

1. 分類標簽，比如電影的分類標簽，是動作片、玄幻片還是古裝劇，是搞笑的，還是寫實的；
2. 物品的提供者信息，比如電影的導演、主演、編劇等；
3. 物品的上市時間；

那么多樣性最好是到什么程度呢？

如果用戶80%的時間都在看搞笑的綜藝，20%的時間在看寫實的節目。如果提供以下幾個推薦列表，你會覺得哪個比較好呢：

• A列表中有10部搞笑綜藝；
• B列表中有10部紀錄片；
• C列表中有8部搞笑綜藝，2部紀錄片；
• D列表中是5補搞笑綜藝，5部紀錄片；

一般我們會認為C列表是最好的，因為他具有一定的多樣性，又兼顧了用戶的主要興趣。推薦列表比較多樣，會增加用戶找到感興趣物品的概率。

5. 新穎性

讓用戶覺得新穎，其實就是推薦那些他們感興趣，但是以前沒有聽說過的物品。

最簡單的方式，就是在推薦列表里，過濾掉用戶歷史產生過行為的物品，包括瀏覽過的、點擊過的等等。

但是呢，因為現在內容很可能出現在多個產品里，在我們的產品里沒有，不代表用戶在其他產品也沒見過。

所有會利用推薦結果的平均流行度，越不熱門的物品越可能讓用戶覺得新穎，但是其實，這個方法也是很粗略的，很難準確做出評估，因為不同用戶不知道的東西是不一樣的。

所以現在沒有一種比較好的統計方法，可以做到新穎性的評估。更多依賴于用戶調查和線上實驗測試。當我們推薦物品給用戶后，可以觀察用戶的行為結果。

如果我們跟用戶推薦一篇技術文章：

首先，去篩選跟用戶興趣匹配的技術文章，找出最近產生的，因為歷史的很有可能會被看過了；然后，我們可以挑選非熱門的，因為熱門的也有可能被看過了；最后，在線上去觀察用戶的點擊率，如果點擊率比較高，則說明用戶對這個文章感興趣。

6. 驚喜度

我們經常在分析需求的時候，會把需求分為幾個層次：

1. 興奮型需求
2. 期望型需求
3. 基本型需求
4. 可有可無需求
5. 反向型需求（有了反而不好）

推薦系統也是一樣，給用戶驚喜都是我們的終極目標。

也就是，推薦給用戶潛意識里需要，但是又沒有明確表達出來的。換句話說，跟用戶歷史行為不相似，但是用戶卻覺得滿意的推薦。

如果用戶歷史上喜歡看劉德華的電影，然后我們推薦了《天下無賊》，如果用戶沒有看過這個電影，那么可以說這個推薦具有新穎性，但是不會有驚喜度，因為很大可能是他預期內的。

但是 ，如果我們一部周星馳的《美人魚》給他，他看完電影后很滿意，“竟然把這么好的電影推薦給我了”！那么這個時候他就會覺得驚喜了。

怎么去做呢？

首先，定義推薦結果和用戶歷史上喜歡物品的相似度；

其次，需要定義用戶對推薦結果的滿意度；

提高推薦驚喜度，需要提高推薦結果的用戶滿意度，同時降低推薦結果和用戶歷史興趣的相似度。

7.? 信任度

人是社交型動物，喜歡熟悉的東西，喜歡熟悉的人 ，推薦系統也是一樣，需要和人之間建立某種信任，那么就需要讓用戶了解推薦系統。

最簡單的方式，就是增加推薦系統的透明度，也就是提供推薦解釋，讓用戶知道這個推薦結果是怎么產生的，了解推薦系統運行機制。

其次是考慮用戶的社交網絡信息，利用用戶的好友信息給用戶做推薦，并且用好友進行推薦解釋。

很早以前，我們經常會看到“你好友也關注”、“購買了相似物品”。

8.? 實時性

想想：如果頭條老是推薦前幾天的新聞，我們會有多么的奔潰？如果淘寶老是推薦我一年前購買過的相似物品，我們會是什么心情？

實時性，包括兩個方面：

一是，及時更新用戶的興趣，滿足用戶新的行為變化，我們現在在淘寶上，今天買了一本育兒繪本，如果再次訪問淘寶，那么首頁會推薦育兒相關的玩具、其他書籍；

二是，及時把新上架的物品推薦給用戶 ，這個也主要解決了物品冷啟動的問題，一個物品如果在平臺里一直得不到推薦，那么物品肯定不會帶來瀏覽和轉化，那么物品提供方可能就沒有太多心情，持續提供好的內容了。

9. 商業目標

我們評測一個推薦系統，很多時候更加注重商業目標是否達成。

因為任何一個成功的產品，除了解決用戶的問題以外，還需要解決盈利的問題。

一般來說，商業目標就是一個用戶給公司帶來的盈利，電子商務產品的目標可能是銷售額，內容消費產品可能是廣告收入。

而好的推薦系統一定是用戶問題和商業目標平衡做的很好的。

本文由 @杭熹 原創發布于人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基于CC0協議。