協(xié)同推薦算法沒有這么復(fù)雜,真的
個性化推薦基本上是由兩個策略算法來進(jìn)行演變的,一個是基于數(shù)據(jù)挖掘的關(guān)聯(lián)分析推薦,一個是基于協(xié)同過濾的方法。筆者將重點介紹什么是協(xié)同過濾算法以及細(xì)分下的算法類型。
John之前寫了一篇關(guān)于電商中的搜索和關(guān)聯(lián)推薦策略的文以及一篇《產(chǎn)品經(jīng)理,如何理解并應(yīng)用策略?》。有些讀者找到我說:太虛啦。沒有算法叫啥子推薦咧?反思了下,嗯,一點都不虛。行唄,咱今天就好好聊聊推薦算法。
我們在使用產(chǎn)品時,經(jīng)??吹綀鼍皶o我們推薦內(nèi)容,比如社交產(chǎn)品會給我們推薦一些關(guān)注的人;電商產(chǎn)品會給我們推薦同類型的商品或者套裝的其他商品;資訊產(chǎn)品會給我們推薦感興趣的內(nèi)容(即我們?yōu)g覽最多的)。
以上都是基于我在看到一個結(jié)果,系統(tǒng)個性化給我的反饋。那為什么個性化推薦在業(yè)界這么火?
- 信息過載,用戶碎片化的時間,獲取信息的成本變高,用戶迫切需要個性化形式的產(chǎn)品。
- 個性化提升了產(chǎn)品的體驗、提升了用戶的停留時長、粘性以及留存率。
- 移動端的迅速發(fā)展,變小的載體促使了行業(yè)需要更快和更精準(zhǔn)的信息呈現(xiàn)。
- 用戶越來越懶,而傳統(tǒng)技術(shù)無法滿足用戶多樣性的需求,迫使技術(shù)創(chuàng)新和發(fā)展。
其中從產(chǎn)品策略上來說,基本上由兩個策略算法來進(jìn)行演變的:一個是基于數(shù)據(jù)挖掘的關(guān)聯(lián)分析推薦;再一個是基于協(xié)同過濾的方法。
一、基于數(shù)據(jù)挖掘的關(guān)聯(lián)分析推薦算法
舉個例子:在電商產(chǎn)品中,總體消費者人數(shù)為10000人,A產(chǎn)品購買人數(shù)為1000人,B產(chǎn)品購買人數(shù)為2000人,C產(chǎn)品購買人數(shù)為3000人;同時購買AB產(chǎn)品人數(shù)為800人,同時購買AC產(chǎn)品人數(shù)為100人,從這個案例中當(dāng)然可以AB建立捆綁銷售策略,但是當(dāng)商品SKU成千上萬,怎么去歸納呢?
這里基礎(chǔ)的算法就是關(guān)聯(lián)分析(電商中依托于銷量可以做關(guān)聯(lián)分析)。這兒設(shè)置到兩個公式:支持度和置信度。
依照這個公式算法:
S(AB)=0.08;S(AC)=0.01;C(AB)=0.8;C(AC)=0.1
所以AB關(guān)聯(lián)推薦效率值更高。
比較常用的應(yīng)用場景就是電商品類捆綁銷售(基于同一類型的不同商品,比如購買了籃球鞋,會關(guān)聯(lián)推薦籃球服和籃球)。
這種方法現(xiàn)在用得比較少了,就稍微介紹下。接下來協(xié)同過濾推薦算法,就是現(xiàn)在最普遍的算法了。
二、基于協(xié)同過濾的推薦算法
首先要說明的是,我們所有的推薦算法,最終目的都是為了給用戶推薦他可能感興趣的商品,從而提高銷售和轉(zhuǎn)化率,忘記這個目的的所有算法設(shè)計都是自嗨。
目前常見的商品推薦算法是協(xié)同過濾,公認(rèn)比較常用的方法俗稱“鄰居方法”。鄰居方法中有兩種視角:第一種是基于用戶;第二種是基于商品。
基于用戶的協(xié)同過濾,稱為User-based CF(User-based Collaborative Filtering)。系統(tǒng)通過分析一個用戶和哪些用戶(參考用戶)的特征比較相似,然后看看這些參考用戶喜歡買哪類的商品,再從這些商品里挑出一些推薦給該用戶。
基于商品的協(xié)同過濾,稱為Item-based CF(Item-based Collaborative Filtering)。系統(tǒng)通過數(shù)據(jù)分析和挖掘用戶的購買行為,來判斷用戶喜歡的商品類型,然后從那些用戶喜歡的商品類型里挑出一些推薦給用戶。
1. User-based CF 基于用戶的協(xié)同過濾
算法核心思路:當(dāng)用戶進(jìn)入一個電商平臺時,作為電商平臺系統(tǒng)找到那些和該用戶興趣/喜好類似的人,然后看看他們喜歡什么,就給該用戶推薦什么。簡而言之,A和B兩個用戶相似,然后給A推薦B喜歡的東西。
舉個例子:在電商產(chǎn)品中,有用戶ID為10001至10006這六位用戶,他們對幾種商品進(jìn)行了瀏覽、收藏、購買、添加到購物車、評論、分享等操作。為了得到用戶對某類別產(chǎn)品的興趣度,我們可以設(shè)計這樣一個簡單的模型,給不同的用戶行為賦予不同的分值,比如瀏覽行為賦予0.1分。整體的行為分值如表:
根據(jù)用戶的行為,商品分值累加計算,滿分10分,加到10后則不再累加。比如A買手機這個商品得到10分(可能是購買2部,則購買分為4分,兩次5星評價,則評論分為6分;也有可能是購買分為4分,一次4星評價,一次5星評價,一次分享……)
然后,我們得到1001-1006六位用戶對各種商品的偏好程度得分表:
(其中表格的數(shù)字是用戶對該商品“興趣程度”的一個量化值,0為沒興趣,10為非常有興趣??瞻状磉@個商品在系統(tǒng)內(nèi),還沒有任何依據(jù)來判斷興趣如何。)
如果以用戶10005作為標(biāo)本,現(xiàn)在要找到和他興趣最接近的人,需要對商品的多維向量進(jìn)行近似求法。一般用余弦相似度來進(jìn)行度量。
余弦函數(shù)相信大家都不陌生,就是中學(xué)時候?qū)W的cosine函數(shù)cos(θ)。余弦相似度,又稱為余弦相似性,是通過計算兩個向量的夾角的余弦值來評估他們的相似度。具體公式如下:
這里的xi和yi表示a和b的分向量。
給出的相似性范圍從-1到1:結(jié)果為-1時意味著兩個向量指向的方向正好截然相反,1表示它們的指向是完全相同的,0通常表示它們之間是獨立的,而在這之間的值則表示中間的相似性或相異性。用簡單的話來說,最相似的是1,最不相似的是-1。
在剛才的例子中,把用戶在一些不相干的商品類別的愛好當(dāng)做一個空間向量,把每個商品類別作為一個維度,我們例子中就有手機、平板、電腦、化妝品、零食、水果和玩具共7個維度。我們試著求一下10005這個用戶和10006這個用戶已知部分的愛好相似程度:
由于“用戶10005”沒有零食的記錄,“用戶10006”沒有水果和玩具的記錄,所以不需要用“用戶10005”的零食維度的分?jǐn)?shù)和“用戶10006”的水果和玩具兩個維度分?jǐn)?shù)來計算相似度。
因為“最相似的是1,最不相似的是-1”。所以10005和10006兩個用戶的相似度還是很高的。同理也能夠求出10005用戶和其他任何一個用戶的興趣相似程度。
之后設(shè)置一個相似的閾值,如0.8、0.85……或者其他任何一個值,看看相似度超過這個閾值的用戶都有什么購物喜好,把他們喜好購買的東西推薦給10005用戶作為推薦方案即可(例如例子中,10005和10006的喜好高度相似,就可以將10006的喜歡的水果和玩具推薦給10005)。這就是一種思路最為樸素的基于用戶的協(xié)同過濾算法思路。
除了上述通過分析用戶的行為來設(shè)計這個用戶相似度外,還可以考慮通過用戶的畫像思維來補充和完善這個用戶協(xié)調(diào)過濾算法。用戶屬性表如表所示:
2. Item-based CF 基于商品的協(xié)同過濾
這種算法給用戶推薦那些和他們之前喜歡的商品相似的商品。(天貓經(jīng)常這么搞)
一般,推薦算法核心思想是,給用戶推薦那些和他們之前喜歡的物品相似的物品。
比如,內(nèi)容推薦算法的“基于內(nèi)容的協(xié)同過濾”,用戶A之前閱讀過NBA的相關(guān)信息,該算法會根據(jù)此行為給你推薦所有NBA相關(guān)的內(nèi)容(去看頭條的,就是這個套路),但是基于物品的協(xié)同過濾有點不同,Item-based CF算法并不利用物品的內(nèi)容屬性計算物品之間的相似度,它主要通過分析用戶的行為記錄計算物品之間的相似度。
Item-based CF算法認(rèn)為,“有很多人喜歡商品A,同時他們也喜歡商品B,所以A和B應(yīng)該是比較類似的商品?!庇嬎闫饋砜梢苑殖梢韵聝蓚€步驟:
- 計算商品之間的相似度。
- 根據(jù)物品的相似度和用戶的偏好來給用戶生成推薦列表。
(一)計算物品之間的相似度
這里同樣用到了余弦相似性來求物品的相似度,但是公式略有不同:
其中,|N(i)|是喜歡物品i的用戶數(shù),|N(j)|是喜歡物品j的用戶數(shù),|N(i)UN(j)|是同時喜歡物品i和物品j的用戶數(shù)。
從上面的定義看出,在協(xié)同過濾中兩個物品產(chǎn)生相似度是因為它們共同被很多用戶喜歡,兩個物品相似度越高,說明這兩個物品共同被很多人喜歡。
這里面蘊含著一個假設(shè):就是假設(shè)每個用戶的興趣都局限在某幾個方面,因此如果兩個物品屬于一個用戶的興趣列表,那么這兩個物品可能就屬于有限的幾個領(lǐng)域;而如果兩個物品屬于很多用戶的興趣列表,那么它們就可能屬于同一個領(lǐng)域,因而有很大的相似度。
舉例說明,首先我們假定有5個用戶,分別為A、B、C、D、E,他們的商品購買記錄分別如下:
這是一個水果店商店的銷售記錄,記錄了每一個用戶購買的產(chǎn)品內(nèi)容。首先要分別得到每個用戶購買物品的鄰接矩陣,如用戶A購物鄰接矩陣如表所示:
這個矩陣就是根據(jù)剛剛看到的用戶A的購買記錄得到的,由于紅酒、啤酒和顯示器同時出現(xiàn)在他的購物列表里,所以“梨和蘋果”、“蘋果和荔枝”、“荔枝和西瓜”、“西瓜和梨”兩兩“鄰接”,也就是說這些標(biāo)注1的小格子代表這兩種一起在一個人的購物記錄里出現(xiàn)過一次——注意買過就算,不是必須出現(xiàn)在同一次購物籃里。
同理能夠得到其他B、C、D、E幾人的購物鄰接矩陣(所有的鄰接矩陣都是沿對角線對稱的)。然后將A、B、C、D、E五人的鄰接矩陣,通過矩陣“疊加”的方式,即將每一個矩陣的每個對應(yīng)的方格數(shù)字相加,最后得到中間矩陣C,過程如下:
最終的疊加結(jié)果——ABCDE購買記錄匯總:
從這個ABCDE購買記錄匯總里,可以看到同時喜歡西瓜和梨的有2個人,同時喜歡柚子和板栗的有2個人,同時喜歡蘋果和梨的有1個人……由于矩陣是對稱的,我為大家都劃出了對角線,大家看表格對角線的一邊就行。
這時便可以計算任意兩個商品的相似度做評估了,如計算西瓜和梨的相似程度,套用剛才的公式:
說明相似度極高,買西瓜的人必買梨,買梨的人必買西瓜。再試算一下板栗和柚子的相似度:
說明相似度極高,買板栗的人必買柚子,買柚子的人必買板栗。再試算一下西瓜和荔枝的相似度:
以此類推,便可計算出所有商品之間的相似度。
(二)根據(jù)物品的相似度和用戶的歷史行為給用戶生成推薦列表
得到相似度后,便可以計算基于相似度的商品推薦列表了。計算完匯總列表之后,當(dāng)要對一個用戶做推薦時,先把這個用戶的歷史購買記錄都列出來,假設(shè)有n個購買記錄。然后對這個列表里每一個產(chǎn)品都用查表的方法查一次相似度,這樣會得到n個列表,每個列表里都是一個產(chǎn)品和其對應(yīng)的相似度的關(guān)系。把這n個列表做一個排序,相似度高的在前,相似度低的在后。如果要推薦3個商品就取前3個,如果要推薦5個商品就取前5個。
大概的推薦算法思路說到這大概就說完了,因為我們不是技術(shù),產(chǎn)品經(jīng)理了解到這個層面就差不多了。深挖一層還可以根據(jù)相似度和歷史行為計算出用戶對物品的感興趣度,然后再給用戶生成推薦列表。就是在相似度的維度上,在增加一個感興趣的維度,作為推薦商品的衡量指標(biāo),思路相似,這里不再展開。
優(yōu)缺點說明
優(yōu)點是推薦都是基于用戶的行為數(shù)據(jù)去不斷學(xué)習(xí)和完善,在過程中發(fā)現(xiàn)用戶的潛在商品興趣,能給用戶“制造驚喜”的同時,也在為自己制造驚喜。這是一個持續(xù)成長的過程,而推薦不過是其中的一個短程跑道,設(shè)計者的目光應(yīng)該長遠(yuǎn)些,將最終的目放在構(gòu)建行業(yè)的大數(shù)據(jù)庫和用戶畫像的產(chǎn)業(yè)生態(tài)上。
缺點則是啟動的門檻高,用戶量不夠時,商品量太少時幾乎無法開展;并且學(xué)習(xí)量不夠時推薦結(jié)果較差,就會導(dǎo)致文初說的“愚蠢”現(xiàn)象出現(xiàn),這也是很多時候人工智能被大家吐槽為“人工智障”的原因之一。
關(guān)于個性化推薦的算法,在網(wǎng)上有很多資料,也有很多其他的實現(xiàn)方法。這里只是嘗試以作為產(chǎn)品經(jīng)理的角度,用較簡單的語言來將自己學(xué)到的推薦算法原理剖析給大家聽。
關(guān)于產(chǎn)品經(jīng)理要不要懂技術(shù)的問題,也是老生常談了,高論很多,不敢多贊一詞。只說一句,產(chǎn)品經(jīng)理在算法產(chǎn)品的設(shè)計中,絕不能一句“做個性化推薦”就完事的,你須深入算法內(nèi)部,了解算法,然后結(jié)合產(chǎn)品特點來優(yōu)化和設(shè)計。
作者:John,產(chǎn)品狗一枚,微信公眾號:產(chǎn)品狗聚集地。歡迎一起溝通交流。
本文由@John 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash, 基于CC0協(xié)議。
請問下如果1W個用戶,采用基于用戶的協(xié)同過濾算法,是不是每個用戶都要去跟其他剩余用戶去計算相似度得出推薦產(chǎn)品?
寫的真好,剖析了很多原理,干貨滿滿,感謝分享
荔枝和西瓜的相似度感覺是:1/根號(4*1)