亚洲六月丁香六月婷婷,亚洲旡码a∨一区二区三区

搜索

APP

起點課堂會員權益

職業體系課特權

線下行業大會特權

個人IP打造特權

30+門專項技能課

1300+專題課程

12場職場軟技能直播

12場求職輔導直播

12場專業技能直播

會員專屬社群

榮耀標識

發布

注冊 | 登錄

初識推薦機制、推薦引擎

旺旺旺旺旺仔

2012-05-17

0 評論 21425 瀏覽 33 收藏

35 分鐘

隨著互聯網的發展估計大多數的產品都會遇到推薦機制的策劃，作為互聯網產品人員也需要研究一下推薦機制的核心算法，這篇文章是我看到的言簡意賅講了一些基礎的推薦機制的文章，轉過來分享給大家

信息發現

如今已經進入了一個數據爆炸的時代，隨著 Web 2.0 的發展， Web 已經變成數據分享的平臺，那么，如何讓人們在海量的數據中想要找到他們需要的信息將變得越來越難。

在這樣的情形下，搜索引擎（Google，Bing，百度等等）成為大家快速找到目標信息的最好途徑。在用戶對自己需求相對明確的時候，用搜索引擎很方便的通過關鍵字搜索很快的找到自己需要的信息。但搜索引擎并不能完全滿足用戶對信息發現的需求，那是因為在很多情況下，用戶其實并不明確自己的需要，或者他們的需求很難用簡單的關鍵字來表述。又或者他們需要更加符合他們個人口味和喜好的結果，因此出現了推薦系統，與搜索引擎對應，大家也習慣稱它為推薦引擎。

隨著推薦引擎的出現，用戶獲取信息的方式從簡單的目標明確的數據的搜索轉換到更高級更符合人們使用習慣的信息發現。

如今，隨著推薦技術的不斷發展，推薦引擎已經在電子商務 (E-commerce，例如 Amazon，當當網 ) 和一些基于 social 的社會化站點 ( 包括音樂，電影和圖書分享，例如豆瓣，Mtime 等 ) 都取得很大的成功。這也進一步的說明了，Web2.0 環境下，在面對海量的數據，用戶需要這種更加智能的，更加了解他們需求，口味和喜好的信息發現機制。

推薦引擎

推薦引擎的分類可以根據很多指標，下面我們一一介紹一下：

推薦引擎是不是為不同的用戶推薦不同的數據根據這個指標，推薦引擎可以分為基于大眾行為的推薦引擎和個性化推薦引擎
- 根據大眾行為的推薦引擎，對每個用戶都給出同樣的推薦，這些推薦可以是靜態的由系統管理員人工設定的，或者基于系統所有用戶的反饋統計計算出的當下比較流行的物品。
- 個性化推薦引擎，對不同的用戶，根據他們的口味和喜好給出更加精確的推薦，這時，系統需要了解需推薦內容和用戶的特質，或者基于社會化網絡，通過找到與當前用戶相同喜好的用戶，實現推薦。
這是一個最基本的推薦引擎分類，其實大部分人們討論的推薦引擎都是將個性化的推薦引擎，因為從根本上說，只有個性化的推薦引擎才是更加智能的信息發現過程。
根據推薦引擎的數據源其實這里講的是如何發現數據的相關性，因為大部分推薦引擎的工作原理還是基于物品或者用戶的相似集進行推薦。那么參考圖 1 給出的推薦系統原理圖，根據不同的數據源發現數據相關性的方法可以分為以下幾種：
- 根據系統用戶的基本信息發現用戶的相關程度，這種被稱為基于人口統計學的推薦（Demographic-based Recommendation）
- 根據推薦物品或內容的元數據，發現物品或者內容的相關性，這種被稱為基于內容的推薦（Content-based Recommendation）
- 根據用戶對物品或者信息的偏好，發現物品或者內容本身的相關性，或者是發現用戶的相關性，這種被稱為基于協同過濾的推薦（Collaborative Filtering-based Recommendation）。
根據推薦模型的建立方式可以想象在海量物品和用戶的系統中，推薦引擎的計算量是相當大的，要實現實時的推薦務必需要建立一個推薦模型，關于推薦模型的建立方式可以分為以下幾種：
- 基于物品和用戶本身的，這種推薦引擎將每個用戶和每個物品都當作獨立的實體，預測每個用戶對于每個物品的喜好程度，這些信息往往是用一個二維矩陣描述的。由于用戶感興趣的物品遠遠小于總物品的數目，這樣的模型導致大量的數據空置，即我們得到的二維矩陣往往是一個很大的稀疏矩陣。同時為了減小計算量，我們可以對物品和用戶進行聚類，然后記錄和計算一類用戶對一類物品的喜好程度，但這樣的模型又會在推薦的準確性上有損失。
- 基于關聯規則的推薦（Rule-based Recommendation）：關聯規則的挖掘已經是數據挖掘中的一個經典的問題，主要是挖掘一些數據的依賴關系，典型的場景就是“購物籃問題”，通過關聯規則的挖掘，我們可以找到哪些物品經常被同時購買，或者用戶購買了一些物品后通常會購買哪些其他的物品，當我們挖掘出這些關聯規則之后，我們可以基于這些規則給用戶進行推薦。
- 基于模型的推薦（Model-based Recommendation）：這是一個典型的機器學習的問題，可以將已有的用戶喜好信息作為訓練樣本，訓練出一個預測用戶喜好的模型，這樣以后用戶在進入系統，可以基于此模型計算推薦。這種方法的問題在于如何將用戶實時或者近期的喜好信息反饋給訓練好的模型，從而提高推薦的準確度。

其實在現在的推薦系統中，很少有只使用了一個推薦策略的推薦引擎，一般都是在不同的場景下使用不同的推薦策略從而達到最好的推薦效果，例如 Amazon 的推薦，它將基于用戶本身歷史購買數據的推薦，和基于用戶當前瀏覽的物品的推薦，以及基于大眾喜好的當下比較流行的物品都在不同的區域推薦給用戶，讓用戶可以從全方位的推薦中找到自己真正感興趣的物品。

這一章的篇幅，將詳細介紹各個推薦機制的工作原理，它們的優缺點以及應用場景。

基于人口統計學的推薦

基于人口統計學的推薦機制（Demographic-based Recommendation）是一種最易于實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然后將相似用戶喜愛的其他物品推薦給當前用戶，圖 2 給出了這種推薦的工作原理。
圖 2. 基于人口統計學的推薦機制的工作原理

圖 2. 基于人口統計學的推薦機制的工作原理

從圖中可以很清楚的看到，首先，系統對每個用戶都有一個用戶 Profile 的建模，其中包括用戶的基本信息，例如用戶的年齡，性別等等；然后，系統會根據用戶的 Profile 計算用戶的相似度，可以看到用戶 A 的 Profile 和用戶 C 一樣，那么系統會認為用戶 A 和 C 是相似用戶，在推薦引擎中，可以稱他們是“鄰居”；最后，基于“鄰居”用戶群的喜好推薦給當前用戶一些物品，圖中將用戶 A 喜歡的物品 A 推薦給用戶 C。

這種基于人口統計學的推薦機制的好處在于：

因為不使用當前用戶對物品的喜好歷史數據，所以對于新用戶來講沒有“冷啟動（Cold Start）”的問題。
這個方法不依賴于物品本身的數據，所以這個方法在不同物品的領域都可以使用，它是領域獨立的（domain-independent）。

那么這個方法的缺點和問題是什么呢？這種基于用戶的基本信息對用戶進行分類的方法過于粗糙，尤其是對品味要求較高的領域，比如圖書，電影和音樂等領域，無法得到很好的推薦效果。可能在一些電子商務的網站中，這個方法可以給出一些簡單的推薦。另外一個局限是，這個方法可能涉及到一些與信息發現問題本身無關卻比較敏感的信息，比如用戶的年齡等，這些用戶信息不是很好獲取。

基于內容的推薦

基于內容的推薦是在推薦引擎出現之初應用最為廣泛的推薦機制，它的核心思想是根據推薦物品或內容的元數據，發現物品或者內容的相關性，然后基于用戶以往的喜好記錄，推薦給用戶相似的物品。圖 3 給出了基于內容推薦的基本原理。
圖 3. 基于內容推薦機制的基本原理

圖 3. 基于內容推薦機制的基本原理

圖 3 中給出了基于內容推薦的一個典型的例子，電影推薦系統，首先我們需要對電影的元數據有一個建模，這里只簡單的描述了一下電影的類型；然后通過電影的元數據發現電影間的相似度，因為類型都是“愛情，浪漫”電影 A 和 C 被認為是相似的電影（當然，只根據類型是不夠的，要得到更好的推薦，我們還可以考慮電影的導演，演員等等）；最后實現推薦，對于用戶 A，他喜歡看電影 A，那么系統就可以給他推薦類似的電影 C。

這種基于內容的推薦機制的好處在于它能很好的建模用戶的口味，能提供更加精確的推薦。但它也存在以下幾個問題：

需要對物品進行分析和建模，推薦的質量依賴于對物品模型的完整和全面程度。在現在的應用中我們可以觀察到關鍵詞和標簽（Tag）被認為是描述物品元數據的一種簡單有效的方法。
物品相似度的分析僅僅依賴于物品本身的特征，這里沒有考慮人對物品的態度。
因為需要基于用戶以往的喜好歷史做出推薦，所以對于新用戶有“冷啟動”的問題。

雖然這個方法有很多不足和問題，但他還是成功的應用在一些電影，音樂，圖書的社交站點，有些站點還請專業的人員對物品進行基因編碼，比如潘多拉，在一份報告中說道，在潘多拉的推薦引擎中，每首歌有超過 100 個元數據特征，包括歌曲的風格，年份，演唱者等等。

基于協同過濾的推薦

隨著 Web2.0 的發展，Web 站點更加提倡用戶參與和用戶貢獻，因此基于協同過濾的推薦機制因運而生。它的原理很簡單，就是根據用戶對物品或者信息的偏好，發現物品或者內容本身的相關性，或者是發現用戶的相關性，然后再基于這些關聯性進行推薦?；趨f同過濾的推薦可以分為三個子類：基于用戶的推薦（User-based Recommendation），基于項目的推薦（Item-based Recommendation）和基于模型的推薦（Model-based Recommendation）。下面我們一個一個詳細的介紹著三種協同過濾的推薦機制。

基于用戶的協同過濾推薦

基于用戶的協同過濾推薦的基本原理是，根據所有用戶對物品或者信息的偏好，發現與當前用戶口味和偏好相似的“鄰居”用戶群，在一般的應用中是采用計算“K- 鄰居”的算法；然后，基于這 K 個鄰居的歷史偏好信息，為當前用戶進行推薦。下圖 4 給出了原理圖。
圖 4. 基于用戶的協同過濾推薦機制的基本原理

圖 4. 基于用戶的協同過濾推薦機制的基本原理

上圖示意出基于用戶的協同過濾推薦機制的基本原理，假設用戶 A 喜歡物品 A，物品 C，用戶 B 喜歡物品 B，用戶 C 喜歡物品 A ，物品 C 和物品 D；從這些用戶的歷史喜好信息中，我們可以發現用戶 A 和用戶 C 的口味和偏好是比較類似的，同時用戶 C 還喜歡物品 D，那么我們可以推斷用戶 A 可能也喜歡物品 D，因此可以將物品 D 推薦給用戶 A。

基于用戶的協同過濾推薦機制和基于人口統計學的推薦機制都是計算用戶的相似度，并基于“鄰居”用戶群計算推薦，但它們所不同的是如何計算用戶的相似度，基于人口統計學的機制只考慮用戶本身的特征，而基于用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。

基于項目的協同過濾推薦

基于項目的協同過濾推薦的基本原理也是類似的，只是說它使用所有用戶對物品或者信息的偏好，發現物品和物品之間的相似度，然后根據用戶的歷史偏好信息，將類似的物品推薦給用戶，圖 5 很好的詮釋了它的基本原理。

假設用戶 A 喜歡物品 A 和物品 C，用戶 B 喜歡物品 A，物品 B 和物品 C，用戶 C 喜歡物品 A，從這些用戶的歷史喜好可以分析出物品 A 和物品 C 時比較類似的，喜歡物品 A 的人都喜歡物品 C，基于這個數據可以推斷用戶 C 很有可能也喜歡物品 C，所以系統會將物品 C 推薦給用戶 C。

與上面講的類似，基于項目的協同過濾推薦和基于內容的推薦其實都是基于物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而后者是基于物品本身的屬性特征信息。
圖 5. 基于項目的協同過濾推薦機制的基本原理

圖 5. 基于項目的協同過濾推薦機制的基本原理

同時協同過濾，在基于用戶和基于項目兩個策略中應該如何選擇呢？其實基于項目的協同過濾推薦機制是 Amazon 在基于用戶的機制上改良的一種策略，因為在大部分的 Web 站點中，物品的個數是遠遠小于用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基于項目的機制比基于用戶的實時性更好一些。但也不是所有的場景都是這樣的情況，可以設想一下在一些新聞推薦系統中，也許物品，也就是新聞的個數可能大于用戶的個數，而且新聞的更新程度也有很快，所以它的形似度依然不穩定。所以，其實可以看出，推薦策略的選擇其實和具體的應用場景有很大的關系。

基于模型的協同過濾推薦

基于模型的協同過濾推薦就是基于樣本的用戶喜好信息，訓練一個推薦模型，然后根據實時的用戶喜好的信息進行預測，計算推薦。

基于協同過濾的推薦機制是現今應用最為廣泛的推薦機制，它有以下幾個顯著的優點：

它不需要對物品或者用戶進行嚴格的建模，而且不要求物品的描述是機器可理解的，所以這種方法也是領域無關的。
這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好

而它也存在以下幾個問題：

方法的核心是基于歷史數據，所以對新物品和新用戶都有“冷啟動”的問題。
推薦的效果依賴于用戶歷史偏好數據的多少和準確性。
在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的準確度有很大的影響等等。
對于一些特殊品味的用戶不能給予很好的推薦。
由于以歷史數據為基礎，抓取和建模用戶的偏好后，很難修改或者根據用戶的使用演變，從而導致這個方法不夠靈活。

混合的推薦機制

在現行的 Web 站點上的推薦往往都不是單純只采用了某一種推薦的機制和策略，他們往往是將多個方法混合在一起，從而達到更好的推薦效果。關于如何組合各個推薦機制，這里講幾種比較流行的組合方法。

加權的混合（Weighted Hybridization）: 用線性公式（linear formula）將幾種不同的推薦按照一定權重組合起來，具體權重的值需要在測試數據集上反復實驗，從而達到最好的推薦效果。
切換的混合（Switching Hybridization）：前面也講到，其實對于不同的情況（數據量，系統運行狀況，用戶和物品的數目等），推薦策略可能有很大的不同，那么切換的混合方式，就是允許在不同的情況下，選擇最為合適的推薦機制計算推薦。
分區的混合（Mixed Hybridization）：采用多種推薦機制，并將不同的推薦結果分不同的區顯示給用戶。其實，Amazon，當當網等很多電子商務網站都是采用這樣的方式，用戶可以得到很全面的推薦，也更容易找到他們想要的東西。
分層的混合（Meta-Level Hybridization）: 采用多種推薦機制，并將一個推薦機制的結果作為另一個的輸入，從而綜合各個推薦機制的優缺點，得到更加準確的推薦。

總結

在網絡數據爆炸的年代，如何讓用戶更快的找到想要的數據，如何讓用戶發現自己潛在的興趣和需求，無論是對于電子商務還是社會網絡的應用都是至關重要的。推薦引擎的出現，使得這個問題越來越被大家關注。但對大多數人來講，也許還在驚嘆它為什么總是能猜到你到底想要些什么。推薦引擎的魔力在于你不清楚在這個推薦背后，引擎到底記錄和推理了些什么。

通過這篇綜述性的文章，你可以了解，其實推薦引擎只是默默的記錄和觀察你的一舉一動，然后再借由所有用戶產生的海量數據分析和發現其中的規律，進而慢慢的了解你，你的需求，你的習慣，并默默的無聲息的幫助你快速的解決你的問題，找到你想要的東西。

其實，回頭想想，很多時候，推薦引擎比你更了解你自己。

通過第一篇文章，相信大家對推薦引擎有一個清晰的第一印象，本系列的下一篇文章將深入介紹基于協同過濾的推薦策略。在現今的推薦技術和算法中，最被大家廣泛認可和采用的就是基于協同過濾的推薦方法。它以其方法模型簡單，數據依賴性低，數據方便采集，推薦效果較優等多個優點成為大眾眼里的推薦算法“No.1”。本文將帶你深入了解協同過濾的秘密，并給出基于 Apache Mahout 的協同過濾算法的高效實現。Apache Mahout 是 ASF 的一個較新的開源項目，它源于 Lucene，構建在 Hadoop 之上，關注海量數據上的機器學習經典算法的高效實現。

圖 10 . 豆瓣的推薦機制 – 基于電影本身的推薦
圖 10 . 豆瓣的推薦機制 - 基于電影本身的推薦