深度學(xué)習(xí)應(yīng)對推薦系統(tǒng),必須懂的3個層面
撰寫推薦系統(tǒng)的文章多如牛毛,筆者準(zhǔn)備撰寫推薦系統(tǒng)產(chǎn)品的文章除了以下4點原因外,更是因為推薦系統(tǒng)已經(jīng)從傳統(tǒng)的推薦系統(tǒng)升級到智能的以深度學(xué)習(xí)驅(qū)動的深度推薦系統(tǒng)為主的旋律。有了這一與網(wǎng)上推薦系統(tǒng)文章立意不同的思路,故此分享出來。
因為與時下大數(shù)據(jù)AI緊密相關(guān)。故此本文先講為什么推薦系統(tǒng)總被提及?接著講推薦系統(tǒng)數(shù)據(jù)分析經(jīng)驗,然后講解概述傳統(tǒng)推薦系統(tǒng)產(chǎn)品的做法,最后撰寫深度學(xué)習(xí)推薦系統(tǒng)產(chǎn)品的操作方法。
為什么推薦系統(tǒng)常常被提及?
1. 國際科技公司從推薦系統(tǒng)獲益有先例
根據(jù)微軟亞洲研究員的報告,推薦系統(tǒng)給亞馬遜(國內(nèi)競品淘寶)帶來了35%的銷售收入,給Netflix帶來了高達75%的消費,并且Youtube(國內(nèi)競品愛奇藝、騰訊、優(yōu)酷視頻)主頁上60%的瀏覽來自推薦服務(wù)。
2. 產(chǎn)品經(jīng)理市場職位用高薪擁抱推薦系統(tǒng)產(chǎn)品經(jīng)理
市場上招聘推薦系統(tǒng)產(chǎn)品經(jīng)理的公司多,且相對傳統(tǒng)產(chǎn)品經(jīng)理薪資很高,如下圖:
3. 快速綜合迭代的推薦系統(tǒng)錘煉產(chǎn)品經(jīng)理的能力
推薦產(chǎn)品自身迭代快,亦能綜合體現(xiàn)產(chǎn)品經(jīng)理的綜合素養(yǎng)。
首先推薦系統(tǒng)快速的從傳統(tǒng)推薦系統(tǒng)過渡到AI機器學(xué)習(xí)推薦系統(tǒng),另外推薦系統(tǒng)產(chǎn)品種類繁多,大致可以分為:離線與實時;基于統(tǒng)計與基于個性化;基于相似度與基于模型;基于內(nèi)容與基于協(xié)同過濾等等種類。如此龐大的產(chǎn)品種類足夠鍛煉產(chǎn)品經(jīng)理的復(fù)合能力。
4. 推薦系統(tǒng)有廣泛的應(yīng)用且?guī)韺崒嵲谠诘囊嫣?/h2>
推薦系統(tǒng)能為公司的產(chǎn)品和服務(wù)做預(yù)測,提早講產(chǎn)品和服務(wù)售賣給用戶,實現(xiàn)公司商業(yè)目標(biāo)。
用戶更好的獲取到自己需要的內(nèi)容,內(nèi)容更快更好的推送到喜歡它的用戶手中,公司網(wǎng)站(公司平臺)更有效的保留用戶資源。
應(yīng)用領(lǐng)域有:電子商務(wù)、電影視頻、社交網(wǎng)絡(luò)、個性化閱讀、位置服務(wù)、個性化郵件、個性化廣告、個性化旅游、證券、理財、個性化音樂等等。
第一個層面:推薦系統(tǒng)的數(shù)據(jù)分析
例如:一方面淘寶用戶在逛淘寶時會留下用戶的個人信息、喜好信息、上下文信息;另外一方面用戶的行為,用戶對寶貝的評價、評分、點擊、瀏覽、搜藏、購買等行為會構(gòu)成用戶與寶貝商品之間形成行為數(shù)據(jù)。
用戶對寶貝有行為數(shù)據(jù),可以表示用戶對寶貝感興趣,有什么樣的興趣就需要數(shù)據(jù)分析。
推薦系統(tǒng)用戶行為分析產(chǎn)品結(jié)構(gòu)圖如下:
用戶行為數(shù)據(jù)分析的含義:對用戶購物路徑日志信息進行統(tǒng)計、分析,從中發(fā)現(xiàn)用戶訪問網(wǎng)站的規(guī)律,并將這些規(guī)律與網(wǎng)絡(luò)營銷策略等相結(jié)合,從而發(fā)現(xiàn)目前網(wǎng)絡(luò)營銷活動中可能存在的問題,并為進一步修正或重新制定網(wǎng)絡(luò)營銷策略提供依據(jù)。
用戶行為數(shù)據(jù)分析目的:通過對用戶行為監(jiān)測獲得的數(shù)據(jù)進行分析,可以讓企業(yè)更加詳細(xì)、清楚地了解用戶的行為習(xí)慣,從而找出網(wǎng)站、推廣渠道等企業(yè)營銷環(huán)境存在的問題,有助于企業(yè)發(fā)掘高轉(zhuǎn)化率頁面,讓企業(yè)的營銷更加精準(zhǔn)、有效,提高業(yè)務(wù)轉(zhuǎn)化率,從而提升企業(yè)的廣告收益。
小結(jié):產(chǎn)品經(jīng)理在推薦系統(tǒng)數(shù)據(jù)分析里必懂的點如下:
- 重點分析內(nèi)容:用戶來源數(shù)據(jù):城市、渠道、頁面等;
- 數(shù)據(jù)分析應(yīng)用場景,如用戶維度:拉新、留存、促活、變現(xiàn)等;結(jié)合RFM模型做用戶數(shù)據(jù)深度分析;流量維度,站內(nèi)站外維度的漏斗轉(zhuǎn)化分析;營銷效果維度的評估分析等。
- 數(shù)據(jù)鉆?。?/strong> 數(shù)據(jù)上鉆:從當(dāng)前數(shù)據(jù)往上回歸到上一層數(shù)據(jù)。例如:(某數(shù)據(jù)的分類下面分為品名)從品名列表收攏到分類列表。
下鉆:從當(dāng)前數(shù)據(jù)往下展開下一層數(shù)據(jù)。 例如:(某數(shù)據(jù)的分類下面分為品名)從分類列表展開到品名列表。
上鉆、下鉆統(tǒng)稱鉆取。
切片:展現(xiàn)同一層面的數(shù)據(jù)。如上述的產(chǎn)品。
轉(zhuǎn)軸:這些應(yīng)該屬于查詢、展現(xiàn)范疇。
第二個層面:傳統(tǒng)的推薦系統(tǒng)
傳統(tǒng)的推薦系統(tǒng),一般都是根據(jù)大量用戶的活動所產(chǎn)生的大量信息,然后所產(chǎn)生的群體偏好再加以利用,比如某寶的商品推薦,熱門視頻,看了又看,相親匹配等等。
尋找相同品味的人,然后根據(jù)最相似的他人喜好給出推薦就可以。這就是協(xié)同過濾(Collaborative Filtering,CF)的基本想法了:借鑒相關(guān)人群的觀點來進行推薦。這與KNN雖然大體一致,但實現(xiàn)下細(xì)微處差異還是很大的。
例如:傳統(tǒng)推薦系統(tǒng)基于內(nèi)容的推薦如下圖
用戶A喜歡電影a,電影a的類型屬于愛情動作;用戶B喜歡恐怖,懸疑,驚悚的B類電影b;用戶C喜歡也喜歡恐怖,懸疑,驚悚的B類電影b;根據(jù)基于內(nèi)容的推薦算法,會將電影c,愛情、動作,劇情類電影推薦給用戶A。
小結(jié),產(chǎn)品經(jīng)理在傳統(tǒng)的推薦系統(tǒng)中要懂如下三點:
(1)基于內(nèi)容的推薦(Content Based,CB),基于用戶特征屬性和item的特征之間的匹配程度來做推薦,推薦效果強依賴于特征工程的好壞。
好處是用戶獨立性,不需要協(xié)同考慮其他用戶特征,這也意味著一個缺點就是可供我們分析的內(nèi)容有限。
再一個好處是沒與用戶互動(評分、購買、加購物車等)過的新的item也可以被推薦。最大的缺點是過度特化,推薦的items沒有創(chuàng)新性和驚喜。
(2)協(xié)同過濾(CF),利用的信息是用戶和item之間的互動信息(多用的是用戶評分矩陣),CF在評分矩陣信息較為稠密的時候表現(xiàn)好于CB,并且CF可以捕捉到一些復(fù)雜的難以表達的信息;在實際應(yīng)用中CF經(jīng)常會產(chǎn)生意外的驚喜的推薦,這一點也暗示著CF方法不適合做公共基金推薦等嚴(yán)肅的推薦任務(wù)(因為CF主要基于稀疏的、不完整的數(shù)據(jù)做推薦);再一個CF存在冷啟動問題。
(3)混合推薦方法,CF+CB
第三個層面:AI機器學(xué)習(xí)賦能的深度推薦系統(tǒng)
我們知道AI包含機器學(xué)習(xí)和深度學(xué)習(xí),而深度學(xué)習(xí)是機器學(xué)習(xí)的特例。
推薦系統(tǒng)與深度學(xué)習(xí),深度推薦系統(tǒng)現(xiàn)階段的應(yīng)用主要體現(xiàn)在如下三個層面:
(1)提升表征學(xué)習(xí)能力。深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢在于其強大的表征學(xué)習(xí)能力。因此,一種最直接的應(yīng)用是,利用深度學(xué)習(xí)技術(shù)從復(fù)雜的內(nèi)容數(shù)據(jù)中學(xué)習(xí)出有效的隱因子特征表示,從而后續(xù)可以很方便地為推薦系統(tǒng)所用。
深度協(xié)同過濾。經(jīng)典的矩陣分解模型可以被描述為一種非常簡單的神經(jīng)網(wǎng)絡(luò)。我們可以通過拓展其中的結(jié)構(gòu),引入更多的非線性單元來加強推薦模型的功能。
- 一方面,它彌補了兩個隱向量的樸素點積操作不能區(qū)分各維度之間重要性差別的弱點;
- 另一方面,它額外引入了一個多層感知機模塊,用來引入更多的非線性操作。除此之外,自動編碼機、卷積神經(jīng)網(wǎng)絡(luò)、記憶網(wǎng)絡(luò)、注意力網(wǎng)絡(luò)等深度學(xué)習(xí)相關(guān)技術(shù)也分別被應(yīng)用在改進傳統(tǒng)的協(xié)同過濾模型中。
(2)特征間的深度交互。企業(yè)的推薦系統(tǒng)為了盡量提高模型的準(zhǔn)確性,往往會使用豐富的甚至異構(gòu)的內(nèi)容數(shù)據(jù)。這些特征從不同的維度展現(xiàn)了不同的信息,而且特征間的組合通常是非常有意義的。傳統(tǒng)的交叉特征是由工程師手動設(shè)計的,這有很大的局限性,成本很高,并且不能拓展到未曾出現(xiàn)過的交叉模式中。深度神經(jīng)網(wǎng)絡(luò)去自動學(xué)習(xí)高階的特征交互模式,彌補人工特征工程帶來的種種局限性。
深度學(xué)習(xí)技術(shù)在推薦系統(tǒng)中的應(yīng)用前景很廣闊,下面來看深度推薦系統(tǒng)的實操案例:
從上圖深度推薦系統(tǒng)產(chǎn)品功能結(jié)構(gòu)可見,深度推薦包含輸入層、模型層和輸出層。
輸入層的數(shù)據(jù)主要包括:用戶顯示反饋(評分、喜歡/不喜歡)或隱式反饋數(shù)據(jù)(瀏覽、點擊等行為數(shù)據(jù))、用戶畫像(性別、年齡、喜好等)和項目內(nèi)容(文本、圖像等描述或內(nèi)容)數(shù)據(jù)、用戶生成內(nèi)容(社會化關(guān)系、標(biāo)注、評論等輔助數(shù)據(jù))。
模型層,使用的深度學(xué)習(xí)模型較廣泛,包括自編碼器RBM、受限玻爾茲曼機AE、卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN等。
在輸出層,通過利用學(xué)習(xí)到的用戶和項目隱表示,通過內(nèi)積、Softmax、相似度計算等產(chǎn)生項目的推薦列表,最后實現(xiàn)深度推薦系統(tǒng)。
小結(jié):深度推薦系統(tǒng)未來的產(chǎn)品方向
(1)效率與可拓展性
對推薦系統(tǒng)而言,不僅需要考慮模型的準(zhǔn)確度,運行效率和可維護性也是非常重要的方面。效率指的是當(dāng)用戶發(fā)來一個請求時,推薦系統(tǒng)能夠以接近實時的速度返回結(jié)果,而不需讓用戶等待;可維護性指系統(tǒng)的部署簡便,能夠支持定期更新,或者增量式更新。
(2)多樣化數(shù)據(jù)融合
現(xiàn)實平臺中,用戶或者物品的數(shù)據(jù)往往是復(fù)雜多樣的。物品的內(nèi)容可以包括文本、圖像、類別等數(shù)據(jù);用戶的行為數(shù)據(jù)可以來自多個領(lǐng)域,例如社交網(wǎng)絡(luò)、搜索引擎、新聞閱讀應(yīng)用等;用戶的行為反饋也可以是豐富多樣的,例如電商網(wǎng)站中,用戶的行為可能有搜索、瀏覽、點擊、收藏、購買等。
不僅如此,在這些不同的維度中,不同用戶或物品的數(shù)據(jù)分布也千差萬別;用戶在不同的行為反饋上的數(shù)據(jù)量也不同,點擊行為的數(shù)據(jù)量往往遠(yuǎn)大于購買行為的數(shù)據(jù)量。因此,需要深度融合這些復(fù)雜數(shù)據(jù)。
(3)捕捉用戶長短期偏好
用戶的偏好大致可以分為長期和短期兩類。長期偏好往往指用戶的興趣所在,例如她是五月天的歌迷,那么未來很長時間她都會對五月天的歌曲、演唱會門票感興趣。
短期偏好指的是用戶在當(dāng)前環(huán)境下的即時興趣,例如最近一周用戶比較喜歡聽抖音上的熱門歌曲,那么推薦系統(tǒng)也應(yīng)該捕捉到用戶的這個興趣,或者用戶在未來一個月有搬家的打算,那么推薦系統(tǒng)可以適當(dāng)?shù)赝扑鸵恍┌峒夜镜膹V告。目前一些流行的做法是,將循環(huán)神經(jīng)網(wǎng)絡(luò)與深度協(xié)同過濾技術(shù)結(jié)合,從而達到兼顧長短期記憶的功能。
最后
如何應(yīng)用大量的用戶和物品及內(nèi)容的匹配,做到精準(zhǔn)推薦,未來的出路或許就在深度推薦系統(tǒng)。關(guān)于深度學(xué)習(xí)的內(nèi)容期待關(guān)注筆者接下來的文章。
如果你想系統(tǒng)化入門AI產(chǎn)品經(jīng)理,掌握AI產(chǎn)品經(jīng)理的落地工作方法,戳這里>http://996.pm/7bjab
#專欄作家#
連詩路,公眾號:LineLian。人人都是產(chǎn)品經(jīng)理專欄作家,《產(chǎn)品進化論:AI+時代產(chǎn)品經(jīng)理的思維方法》一書作者,前阿里產(chǎn)品專家,希望與創(chuàng)業(yè)者多多交流。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash, 基于CC0協(xié)議
專欄作家
連詩路AI產(chǎn)品,公眾號:連詩路AI產(chǎn)品。人人都是產(chǎn)品經(jīng)理專欄作家,《產(chǎn)品進化論:AI+時代產(chǎn)品經(jīng)理的思維方法》一書作者,前阿里產(chǎn)品專家,希望與創(chuàng)業(yè)者多多交流。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!