個(gè)性化推薦技術(shù)|產(chǎn)品經(jīng)理和產(chǎn)品運(yùn)營的必修課
最近看到一條新聞,說是騰訊準(zhǔn)備花重金收購今日頭條,而且勢(shì)在必得的樣子。今日頭條很多人應(yīng)該不陌生,我也是今日頭條的忠實(shí)用戶,為什么我覺得今日頭條做的比其他新聞/資訊客戶端要好,正是因?yàn)樗宫F(xiàn)給我的內(nèi)容都是我想看的,隨著我在上面的行為越來越多,它展現(xiàn)給我的內(nèi)容越準(zhǔn)確,今日頭條使用的最核心的技術(shù)就是個(gè)性化推薦技術(shù)。
隨著移動(dòng)互聯(lián)網(wǎng)的興起,用戶的很多行為逐漸從PC端轉(zhuǎn)向移動(dòng)端。人們花在手機(jī)上的時(shí)間越來越多。人們隨時(shí)隨地都在使用手機(jī),在你坐車的時(shí)候,上廁所的時(shí)候,吃飯的時(shí)候,甚至在你走路的時(shí)候都在用手機(jī),相對(duì)于PC端,移動(dòng)端的特點(diǎn)是屏幕窄,用戶使用的時(shí)間呈現(xiàn)碎片化。同時(shí)隨著信息量越來越大,人們很難從大量的信息中快速找到自己想要的內(nèi)容。這個(gè)體驗(yàn)是非常差的,如果你是產(chǎn)品經(jīng)理,如果你面臨同樣的問題,接下來要講的內(nèi)容希望對(duì)你有所幫助。
推薦引擎是什么?
如果你在亞馬遜上買過書,你可能會(huì)碰到這種情況,當(dāng)你選擇一本書放入購物籃時(shí),它會(huì)自動(dòng)給你推薦其它的書。比如:購買過該書的人還買過XXXX,猜你可能還喜歡XXXX,組合推薦,購買該書還有另外幾本書的組合可以享受一個(gè)優(yōu)惠的組合價(jià)格。這些使用的都是推薦系統(tǒng),簡(jiǎn)單來說推薦系統(tǒng)就是研究用戶在平臺(tái)上的所有行為,對(duì)用戶進(jìn)行人物畫像,以及研究平臺(tái)上的內(nèi)容/產(chǎn)品。同時(shí)把用戶和產(chǎn)品匹配起來的過程。
推薦引擎的應(yīng)用范圍?
推薦系統(tǒng)在各個(gè)領(lǐng)域有廣泛的應(yīng)用,比如電商網(wǎng)站、視頻網(wǎng)站、視頻直播平臺(tái)、新聞客戶端、文學(xué)網(wǎng)站、音樂網(wǎng)站等等。下圖是推薦系統(tǒng)在著名電商網(wǎng)站、視頻網(wǎng)站的一些應(yīng)用案例及應(yīng)用效果。
為什么推薦系統(tǒng)能夠在各個(gè)領(lǐng)域得到廣泛的應(yīng)用?
- 通過目錄或者搜索的方式查找想要的內(nèi)容,在移動(dòng)終端較小的屏幕上可能需要多次翻屏,查找感興趣的內(nèi)容的成本很高,用戶體驗(yàn)較差。
- 通過推薦系統(tǒng)展現(xiàn)給用戶的內(nèi)容,都是用戶感興趣的,而且每個(gè)用戶看到的都不一樣,亞馬遜的CEO貝佐斯說過,要讓1000個(gè)訪問亞馬遜的用戶看到1000個(gè)不同的亞馬遜。
- 目前用戶的選擇非常多,可選擇的多樣性及時(shí)間的碎片化,用戶打開手機(jī),如沒能快速找到感興趣的內(nèi)容,很快就會(huì)離開。
- 個(gè)性化推薦技術(shù)通過算法進(jìn)行用戶感興趣的內(nèi)容的精準(zhǔn)推薦,幫助用戶快捷發(fā)現(xiàn)感興趣的內(nèi)容,當(dāng)你看完一個(gè)內(nèi)容后,會(huì)立馬給你推薦相關(guān)的東西,可以增加用戶粘性。
- 幫助用戶發(fā)現(xiàn)更多優(yōu)質(zhì)的長尾內(nèi)容,一般平臺(tái)用戶訪問的只局限在熱門的10%左右的內(nèi)容,很多內(nèi)容永遠(yuǎn)沉在數(shù)據(jù)庫中沒有人發(fā)現(xiàn)。
- 幫助平衡平臺(tái)的生態(tài),避免馬態(tài)效應(yīng),熱門的內(nèi)容總是得到更多的爆光,冷門的內(nèi)容從沒機(jī)會(huì)被關(guān)注,使內(nèi)容生產(chǎn)生態(tài)兩極分化。
推薦系統(tǒng)的架構(gòu)和核心的算法
下面以我之前做過的一個(gè)產(chǎn)品為例來講解,在架構(gòu)上,可能每家在做的時(shí)候會(huì)有些不同,但用到的一些核心算法,大家應(yīng)該是差不多的。具體怎么實(shí)現(xiàn),產(chǎn)品經(jīng)理不需要關(guān)注這么細(xì),只需要大概了解其中的原理就可以了。
推薦系統(tǒng)中常用到的算法包括用戶偏好算法,協(xié)同過濾算法(item_base,user_base)、關(guān)聯(lián)規(guī)則算法、聚類算法、內(nèi)容相似性算法(content_base),以及一些其它的補(bǔ)充算法。最終分析出來的結(jié)果是以下幾種
- 根據(jù)用戶偏好算法算出來用戶感興趣的內(nèi)容/產(chǎn)品。然后推薦給用戶
- 根據(jù)關(guān)聯(lián)規(guī)則算法,算出物品間的支持度和置信度。最常見的應(yīng)用是組合購買,啤酒和尿不濕是非常經(jīng)典的例子了。
- item_base是根據(jù)集體用戶行為算出物品間的相似度,然后把與用戶看過的物品或者購買過的物品最相似的物品推薦給該用戶。
- 聚類算法可以根據(jù)用戶進(jìn)行聚類,也可以對(duì)產(chǎn)品進(jìn)行聚類。聚類后可以針對(duì)大類進(jìn)行推薦,或者繼續(xù)計(jì)算用戶類和產(chǎn)品類之間的關(guān)系。
- content_base是根據(jù)物品本身的屬性進(jìn)行關(guān)聯(lián)性運(yùn)算,計(jì)算出物品間的相似性,最常見的應(yīng)用是同類推薦。
- user_base是根據(jù)集體行為計(jì)算用戶之間的相似度,比如A跟B計(jì)算出來非常相似,則可以把B喜歡的內(nèi)容,但A還沒有看過,推薦給A。
常用的應(yīng)用場(chǎng)景
1、首頁猜你喜歡推薦
由于移動(dòng)端屏幕較小,一屏展現(xiàn)的內(nèi)容較少,用戶要找到自己感興趣的內(nèi)容需要一屏一屏往下翻,在這個(gè)地方展現(xiàn)個(gè)性化推薦系統(tǒng)推薦的內(nèi)容,可以快速抓住用戶的眼球。
2、在發(fā)現(xiàn)欄目給用戶推薦感興趣的內(nèi)容,可以讓用戶獲得驚喜。
3、內(nèi)容詳情頁的關(guān)聯(lián)推薦/相關(guān)推薦,在內(nèi)容詳情頁可以給用戶推薦與當(dāng)前內(nèi)容相似的內(nèi)容。
4、閱讀結(jié)束/視頻播放結(jié)束/直播結(jié)束推薦,推薦與當(dāng)前內(nèi)容類似的內(nèi)容。
5、搜索頁面推薦,當(dāng)搜索無結(jié)果時(shí),可以給用戶推薦其感興趣的內(nèi)容
個(gè)性化推薦系統(tǒng)應(yīng)用中的幾個(gè)關(guān)鍵問題
個(gè)性化推薦系統(tǒng)是一個(gè)非常復(fù)雜系統(tǒng),其中不光涉及數(shù)據(jù)處理算法和系統(tǒng)架構(gòu)的靈活性問題,還涉及系統(tǒng)魯棒性,數(shù)據(jù)稀疏性問題、冷啟動(dòng)問題、系統(tǒng)的精準(zhǔn)性和多樣性問題。
- 垃圾數(shù)據(jù)處理,對(duì)于系統(tǒng)產(chǎn)生的異常數(shù)據(jù)、垃圾數(shù)據(jù)需要業(yè)務(wù)特點(diǎn)制定一套清洗規(guī)則。
- 冷啟動(dòng)問題,由于新用戶訪問時(shí)沒有數(shù)據(jù)沉淀,因此很難根據(jù)用戶行為進(jìn)行推薦,目前比較普遍的方法是新用戶首次登錄時(shí)提供興趣標(biāo)簽引導(dǎo)頁面,引導(dǎo)用戶進(jìn)行設(shè)置,同時(shí)結(jié)合其它推薦算法。另外一種比較理想的方法是使用用戶在其它平臺(tái)的社交數(shù)據(jù)。
- 數(shù)據(jù)稀疏性問題,可以使用聚類算法進(jìn)行升維后運(yùn)算,并結(jié)合其它算法進(jìn)行組合推薦。
- 推薦結(jié)果精準(zhǔn)性和多樣性,通過多種算法進(jìn)行組合推薦。確保推薦結(jié)果集的精準(zhǔn)性和多樣性。
以上是關(guān)于個(gè)性化推薦系統(tǒng)的一個(gè)基本知識(shí),花了點(diǎn)時(shí)間整理出來,希望對(duì)大家有所幫助。歡迎對(duì)這塊感興趣的同學(xué)一起交流。
作者:謝德福(微信號(hào):beancurd191),9年以上互聯(lián)網(wǎng)從業(yè)經(jīng)驗(yàn),6年以上個(gè)性化推薦、大數(shù)據(jù)相關(guān)經(jīng)驗(yàn)。畢業(yè)進(jìn)入華為工作6年后,于2013年出來創(chuàng)業(yè)至今,專注于大數(shù)據(jù)技術(shù)在影視、文化、視頻、娛樂等領(lǐng)域的應(yīng)用。
本文由 @謝德福 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
寫的好,期待發(fā)表更多的文章
寫的真好,智能推薦很強(qiáng)大
學(xué)習(xí)了
其實(shí)精華都在圖里,可惜我看得一臉懵逼
受教了!有沒有更深的文章呢?
好
學(xué)習(xí)了,大數(shù)據(jù)真實(shí)的應(yīng)用
前端看到的就是簡(jiǎn)單的個(gè)性化推薦 但后面的技術(shù)難度很大
不錯(cuò)
贊~~~好文章