從這9點去看,什么才是好的推薦系統?

7 評論 9750 瀏覽 141 收藏 15 分鐘

一個推薦系統的好壞實實在在影響著用戶使用產品的感受,我們如何判斷推薦系統的好壞?一個好的推薦系統需要注意哪幾點?

生活中,我們對推薦系統一點都不陌生,甚至會天天接觸。相信我們很多人都有這樣的體會:

  • 我們經常信誓旦旦地說“就玩10分鐘抖音吧”,但往往是一刷不知不覺2小時就過去了;
  • 我們如果在淘寶上買過一件衣服,卻總是能在首頁或者詳情頁看到一些心儀的裙子、褲子,甚至鞋子,然后繼續開啟剁手黨的買買買模式;
  • 作為熱愛流行歌曲的音樂發燒友,今天心情很好,但是卻不知道聽什么,我們點開了音樂app,打開里面的【推薦歌單】,每首都不一樣,每首好像都能觸達心靈。

這也許就是推薦系統的美和魅力吧!

什么是好的推薦系統?

一個推薦系統,往往存在3個參與方:用戶、物品提供者、提供推薦系統的產品。

  1. 從用戶角度說,好的推薦系統不僅僅能夠準確預測用戶的行為,而且能夠擴展用戶的視野,幫助用戶發現那些他們感興趣,但卻不那么容易發現的東西。
  2. 從物品提供者角度說,好的推薦系統,能夠幫助他們將那些被埋沒在長尾中的好東西,介紹給可能會對他們感興趣的用戶。

好的推薦系統是一箭雙雕的,能優雅的幫助用戶和物品提供方解決問題。

作為推薦系統的產品經理,除了我們主觀去評估推薦系統質量,那么還有哪些客觀指標可以評估一個推薦系統的質量的?

1. 用戶滿意度

用戶作為推薦系統的重要參與者 ,其滿意度是評測推薦系統的重要指標,通常通過用戶調查和用戶在線行為分析獲得。

(1) 用戶調查

用戶調查主要是通過問卷的形式進行,用戶對推薦系統的滿意度往往分為不同的層次。

我們之前做過對獵頭推薦職位的調研,問卷中有個問題是,請問下面哪句話最能描述你看到推薦結果后的感受?

  • 選項1,推薦的簡歷都是我非常想看的;
  • 選項2,推薦的簡歷很多我都會看,確實符合我興趣的不錯簡歷;
  • 選項3,推薦的簡歷和我負責的領域相關,但是不是我當前想找的候選人;
  • 選項4,不知道為什么會推薦這些簡歷,都不是我感興趣的。

調查問卷需要從不同的側面詢問用戶對結果的不同感受。

如果只是問用戶是否滿意,用戶可能心里會認為大體滿意,但是對某個方面還是有點不滿意,因而會很難回答這個問題,即使回答了,我們在統計分析結果的時候也會不知所措。

(2) 在線行為分析

在線行為分析,也就是常說的用戶點擊率、停留時間和轉化率等指標來度量。

當我們閑來無事,想逛逛某寶的時候,首頁會推薦一個商品列表,如果我們滿意,我們就會點擊某個商品,而且還很可能會購買商品。

用戶的點擊率、停留時間和購買轉化率,都能很客觀的反應我們的滿意度。

很多做內容推薦的產品,比如頭條,會主動提供用戶是否滿意的入口 ,用戶可以直接反饋對該條內容不感興趣。

  • 反饋垃圾內容
  • 拉黑作者
  • 屏蔽等操作

通過用戶的直接反饋,也可以度量系統的用戶滿意度。

2. 預測準確度

這個指標是推薦系統預測用戶行為的能力,是一個非常重要的離線評測指標。

首先,準備一個離線的數據集,包括用戶的歷史行為記錄;然后,將該數據集通過時間分成訓練集和測試集;最后,通過在訓練集上建立用戶的行為和興趣模型,預測用戶在測試集上的行為,并且把計算預測行為和實際行為的重合度作為預測準確度。

(1)用得比較多的是我們常常見到的評分系統

很多網站,不管是買了衣服,還是看了一部電影,都會提供一個讓用戶給物品打分的功能。這樣我們就能知道用戶對物品的歷史評分,從中學習用戶的興趣模型,并預測該用戶,會給沒有評分過的物品打多少分。

(2) 還有一種比較常見的topN預測準確度:

假如我們已經獲取到用戶歷史觀看電影的記錄數據:

  • 集合A:根據用戶訓練集上的行為,給出的推薦電影列表;
  • 集合B:用戶在測試集上實際會點擊的電影;

那么:

準確率=(A與B的交集)/ A

召回率=(A與B的交集)/ B

這個評估指標重點是:找出用戶最有可能看的電影。

3. 覆蓋率

描述一個推薦系統對物品長尾的發掘能力。

覆蓋率=能夠推薦出來的商品數量/總物品數量

以圖書推薦為例,出版社可能會很關心,他們的書有沒有被推薦給用戶;覆蓋率為100%的話,說明推薦系統可以將每個物品都推薦給至少一個用戶。

除了圖書都能被推薦出來,每本書被推薦出來的次數也是很關鍵的。如果所有的物品都有機會被推薦,且推薦次數差不多,那么說明覆蓋率越好。

大家可能都聽說過“馬太效應”,就是所謂的強者更強,弱者更弱。一般的熱門排行榜就有馬太效應。

但是推薦系統的初衷是希望消除馬太效應的,這個也是推薦系統魅力的體現。

4. 多樣性

盡管用戶的興趣,在較長的時間跨度中是不一樣的:在一個視頻產品中,用戶可能即會看《蠟筆小新》這樣的動畫片,也會看《權利的游戲》這樣的史詩奇幻題材的電視劇。

但具體到用戶訪問推薦系統的某一刻:其興趣往往是單一的,那么如果推薦列表只能覆蓋用戶的一個興趣點,而這個興趣點不是用戶這個時刻的興趣點,就不會讓用戶滿意。

相反,如果推薦列表比較多樣,覆蓋了用戶絕大多數的興趣點,那么就會增加,用戶找到感興趣視頻的概率。

這里就用到逆向思維來看!

我們通常會去計算物品和物品之間的相似性,因為多樣性和相似性是對應的。而計算相似性,往往通過物品的以下幾方面進行:

  1. 分類標簽,比如電影的分類標簽,是動作片、玄幻片還是古裝劇,是搞笑的,還是寫實的;
  2. 物品的提供者信息,比如電影的導演、主演、編劇等;
  3. 物品的上市時間;

那么多樣性最好是到什么程度呢?

如果用戶80%的時間都在看搞笑的綜藝,20%的時間在看寫實的節目。如果提供以下幾個推薦列表,你會覺得哪個比較好呢:

  • A列表中有10部搞笑綜藝;
  • B列表中有10部紀錄片;
  • C列表中有8部搞笑綜藝,2部紀錄片;
  • D列表中是5補搞笑綜藝,5部紀錄片;

一般我們會認為C列表是最好的,因為他具有一定的多樣性,又兼顧了用戶的主要興趣。推薦列表比較多樣,會增加用戶找到感興趣物品的概率。

5. 新穎性

讓用戶覺得新穎,其實就是推薦那些他們感興趣,但是以前沒有聽說過的物品。

最簡單的方式,就是在推薦列表里,過濾掉用戶歷史產生過行為的物品,包括瀏覽過的、點擊過的等等。

但是呢,因為現在內容很可能出現在多個產品里,在我們的產品里沒有,不代表用戶在其他產品也沒見過。

所有會利用推薦結果的平均流行度,越不熱門的物品越可能讓用戶覺得新穎,但是其實,這個方法也是很粗略的,很難準確做出評估,因為不同用戶不知道的東西是不一樣的。

所以現在沒有一種比較好的統計方法,可以做到新穎性的評估。更多依賴于用戶調查和線上實驗測試。當我們推薦物品給用戶后,可以觀察用戶的行為結果。

如果我們跟用戶推薦一篇技術文章:

首先,去篩選跟用戶興趣匹配的技術文章,找出最近產生的,因為歷史的很有可能會被看過了;然后,我們可以挑選非熱門的,因為熱門的也有可能被看過了;最后,在線上去觀察用戶的點擊率,如果點擊率比較高,則說明用戶對這個文章感興趣。

6. 驚喜度

我們經常在分析需求的時候,會把需求分為幾個層次:

  1. 興奮型需求
  2. 期望型需求
  3. 基本型需求
  4. 可有可無需求
  5. 反向型需求(有了反而不好)

推薦系統也是一樣,給用戶驚喜都是我們的終極目標。

也就是,推薦給用戶潛意識里需要,但是又沒有明確表達出來的。換句話說,跟用戶歷史行為不相似,但是用戶卻覺得滿意的推薦。

如果用戶歷史上喜歡看劉德華的電影,然后我們推薦了《天下無賊》,如果用戶沒有看過這個電影,那么可以說這個推薦具有新穎性,但是不會有驚喜度,因為很大可能是他預期內的。

但是 ,如果我們一部周星馳的《美人魚》給他,他看完電影后很滿意,“竟然把這么好的電影推薦給我了”!那么這個時候他就會覺得驚喜了。

怎么去做呢?

首先,定義推薦結果和用戶歷史上喜歡物品的相似度;

其次,需要定義用戶對推薦結果的滿意度;

提高推薦驚喜度,需要提高推薦結果的用戶滿意度,同時降低推薦結果和用戶歷史興趣的相似度。

7.? 信任度

人是社交型動物,喜歡熟悉的東西,喜歡熟悉的人 ,推薦系統也是一樣,需要和人之間建立某種信任,那么就需要讓用戶了解推薦系統。

最簡單的方式,就是增加推薦系統的透明度,也就是提供推薦解釋,讓用戶知道這個推薦結果是怎么產生的,了解推薦系統運行機制。

其次是考慮用戶的社交網絡信息,利用用戶的好友信息給用戶做推薦,并且用好友進行推薦解釋。

很早以前,我們經常會看到“你好友也關注”、“購買了相似物品”。

8.? 實時性

想想:如果頭條老是推薦前幾天的新聞,我們會有多么的奔潰?如果淘寶老是推薦我一年前購買過的相似物品,我們會是什么心情?

實時性,包括兩個方面:

一是,及時更新用戶的興趣,滿足用戶新的行為變化,我們現在在淘寶上,今天買了一本育兒繪本,如果再次訪問淘寶,那么首頁會推薦育兒相關的玩具、其他書籍;

二是,及時把新上架的物品推薦給用戶 ,這個也主要解決了物品冷啟動的問題,一個物品如果在平臺里一直得不到推薦,那么物品肯定不會帶來瀏覽和轉化,那么物品提供方可能就沒有太多心情,持續提供好的內容了。

9. 商業目標

我們評測一個推薦系統,很多時候更加注重商業目標是否達成。

因為任何一個成功的產品,除了解決用戶的問題以外,還需要解決盈利的問題。

一般來說,商業目標就是一個用戶給公司帶來的盈利,電子商務產品的目標可能是銷售額,內容消費產品可能是廣告收入。

而好的推薦系統一定是用戶問題和商業目標平衡做的很好的。

 

本文由 @杭熹 原創發布于人人都是產品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 很牛逼

    來自廣東 回復
  2. 很好的推薦,正好是我需要的

    回復
  3. 收藏,手動點贊

    回復
  4. 收藏+手動贊

    回復
  5. 收藏了

    回復
  6. 手動贊。

    來自上海 回復
    1. 謝謝支持 ?

      來自北京 回復