個(gè)性化推薦十大挑戰(zhàn)(下)

2 評論 21475 瀏覽 47 收藏 14 分鐘

本文為個(gè)性化推薦十大挑戰(zhàn)最后一部分,主要介紹了推薦系統(tǒng)效果評估,用戶界面與用戶體驗(yàn),多維數(shù)據(jù)的交叉利用,社會(huì)推薦。

接上文:個(gè)性化推薦十大挑戰(zhàn)(中)

挑戰(zhàn)七:推薦系統(tǒng)效果評估。

推薦系統(tǒng)的概念提出已經(jīng)有幾十年了,但是怎么評價(jià)推薦系統(tǒng),仍然是一個(gè)很大的問題。常見的評估指標(biāo)可以分為四大類,分別是準(zhǔn)確度、多樣性、新穎性和覆蓋率,每一類下轄很多不同的指標(biāo),譬如準(zhǔn)確度指標(biāo)又可以分為四大類,分別是預(yù)測評分準(zhǔn)確度、預(yù)測評分關(guān)聯(lián)、分類準(zhǔn)確度、排序準(zhǔn)確度四類。以分類準(zhǔn)確度為例,又包括準(zhǔn)確率、召回率、準(zhǔn)確率提高率、召回率提高率、F1指標(biāo)和AUC值。圖5總結(jié)了文獻(xiàn)中曾經(jīng)出現(xiàn)過的幾乎所有的推薦系統(tǒng)指標(biāo)。之所以對推薦系統(tǒng)的評價(jià)很困難,是因?yàn)檫@些指標(biāo)之間并不是一致的,一般而言,多樣性、新穎性和覆蓋率之間一致性較好,但不絕對,而這三者往往都和準(zhǔn)確度有沖突。如前所述,解決多樣性和精確性之間的矛盾本身就是一個(gè)重大的挑戰(zhàn)!更不幸的是,即便是同一類指標(biāo),其表現(xiàn)也不完全一致。舉個(gè)例子說,一些基于SVD分解的算法,以降低均方根誤差(參考圖5)為目標(biāo),在預(yù)測評分精確性方面表現(xiàn)上佳,但是在推薦前L個(gè)商品的準(zhǔn)確率和召回率(參考圖5)方面則表現(xiàn)得很不如人意,有些情況下甚至還不如直接按照流行度排序的非個(gè)性化算法。

圖5介紹的那些指標(biāo)都是基于數(shù)據(jù)本身的指標(biāo),可以認(rèn)為是第一層次。實(shí)際上,在真實(shí)應(yīng)用時(shí),更為重要的是另外兩個(gè)層次的評價(jià)。第二個(gè)層次是商業(yè)應(yīng)用上的關(guān)鍵表現(xiàn)指標(biāo),譬如受推薦影響的轉(zhuǎn)化率,購買率,客單價(jià),購買品類數(shù)等等,第三個(gè)層次是用戶真實(shí)的體驗(yàn)。絕大部分研究只針對第一個(gè)層次的評價(jià)指標(biāo),而業(yè)界真正感興趣的是第二個(gè)層次的評價(jià)(譬如到底是哪個(gè)指標(biāo)或者哪些指標(biāo)組合的結(jié)果能夠提高用戶購買的客單價(jià)),而第三個(gè)層細(xì)最難,沒人能知道,只能通過第二層次的效果來估計(jì)。如何建立第一層面和第二層面指標(biāo)之間的關(guān)系,就成為了關(guān)鍵,這一步打通了,理論和應(yīng)用之間的屏障就通了一大半了。

圖6:Facebook頁面上用戶注意力集中的區(qū)域的分布,其中紅色的區(qū)域是用戶注意力最集中的區(qū)域,黃色次之,綠色再次之,白色最次。

?挑戰(zhàn)八:用戶界面與用戶體驗(yàn)。

這個(gè)問題更多地不是一個(gè)學(xué)術(shù)性質(zhì)的問題,而是從真實(shí)應(yīng)用中來的問題。十年前就有學(xué)者指出,推薦結(jié)果的可解釋性,對于用戶體驗(yàn)有至關(guān)重要的影響——用戶希望知道這個(gè)推薦是怎么來的?;谙嗨菩缘耐扑](例如協(xié)同過濾)在這個(gè)問題上具有明顯的優(yōu)勢,譬如亞馬遜基于商品的協(xié)同過濾的推薦[72]在發(fā)送推薦的電子郵件時(shí)會(huì)告訴用戶之所以向其推薦某書,是因?yàn)橛脩粢郧百徺I過某些書,新浪微博基于局部結(jié)構(gòu)相似性的“關(guān)注對象推薦”在推薦的同時(shí)會(huì)說明哪些你的朋友也關(guān)注過他們。相對地,矩陣分解或者集成學(xué)習(xí)算法就很難向用戶解釋推薦結(jié)果的起源。一般而言,用戶更喜歡來自自己朋友的推薦而不是系統(tǒng)的推薦,這一點(diǎn)在后面講社會(huì)推薦的時(shí)候還會(huì)詳細(xì)提到。另外,好的界面設(shè)計(jì),能夠讓用戶覺得推薦的結(jié)果更加多樣化,更加可信。

實(shí)際應(yīng)用時(shí),推薦列表往往含有很多項(xiàng),這些推薦項(xiàng)最好能夠區(qū)分成很多類別,不同類別往往來自于不同的推薦方法,譬如看過還看過(瀏覽過本商品的客戶還瀏覽過的商品)、買過還買過(購買過本商品的客戶還購買過的商品)、看過最終購買(瀏覽過本商品的客戶最終購買的商品)、個(gè)性化熱銷榜(個(gè)性化流行品推薦)、猜你喜歡(個(gè)性化冷門商品推薦)等等。當(dāng)然,每個(gè)推薦項(xiàng)呈現(xiàn)的結(jié)果往往都來自復(fù)雜的算法,絕不僅僅象它們的名字聽起來那么簡單。另外,推薦欄呈現(xiàn)的位置對于推薦的結(jié)果影響也很大,因?yàn)橥粋€(gè)網(wǎng)頁上不同位置對于用戶注意力的吸引程度大不一樣。圖6給出了EyeTrackShop針對Facebook個(gè)人頁面不同位置受關(guān)注程度的示意,可以看出,不同的位置受到的關(guān)注相差很大。

如何更好呈現(xiàn)推薦,是一個(gè)很難建立理論模型和進(jìn)行量化的問題,對于不同被推薦品而言,用戶界面設(shè)計(jì)的準(zhǔn)則也可能大不相同。建立一個(gè)可以進(jìn)行A/B測試的系統(tǒng)(隨機(jī)將用戶分為兩部分,各自看到不同的推薦頁面和推薦結(jié)果),可以積累重要的實(shí)驗(yàn)數(shù)據(jù),指導(dǎo)進(jìn)一步地改善。

挑戰(zhàn)九:多維數(shù)據(jù)的交叉利用。

目前網(wǎng)絡(luò)科學(xué)研究一個(gè)廣受關(guān)注的概念是具有相互作用的網(wǎng)絡(luò)的結(jié)構(gòu)和功能。網(wǎng)絡(luò)與網(wǎng)絡(luò)之間的相互作用大體可以分成三類:一類是依存關(guān)系,譬如電力網(wǎng)絡(luò)和Internet,如果發(fā)生了大規(guī)模停電事故,當(dāng)?shù)氐淖灾飨到y(tǒng)和路由器也會(huì)受到影響,導(dǎo)致網(wǎng)絡(luò)局部中斷;第二類是合作關(guān)系,譬如人的一次出行,可以看作航空網(wǎng)絡(luò)、鐵路網(wǎng)絡(luò)和公路網(wǎng)絡(luò)的一次合作;第三類是交疊關(guān)系,主要針對社會(huì)網(wǎng)絡(luò),這也是我們最關(guān)注的。我們幾乎每一個(gè)人,都參與了不止一個(gè)大型的社會(huì)網(wǎng)絡(luò)中,譬如你可能既有新浪微博的帳號,又是人人網(wǎng)的注冊用戶,還是用手機(jī),那么你已經(jīng)同時(shí)在三個(gè)巨大的社會(huì)網(wǎng)絡(luò)中了。與此同時(shí),你可能還經(jīng)常在淘寶、京東、麥包包、1號店、庫巴網(wǎng)……這些地方進(jìn)行網(wǎng)購,因此也是若干張用戶-商品二部分圖中的成員。

想象如果能夠把這些網(wǎng)絡(luò)數(shù)據(jù)整合起來,特別是知道每個(gè)節(jié)點(diǎn)身份的對應(yīng)關(guān)系(不需要知道你真實(shí)身份,只需要知道不同網(wǎng)絡(luò)中存在的若干節(jié)點(diǎn)是同一個(gè)人),可以帶來的巨大的社會(huì)經(jīng)濟(jì)價(jià)值。舉個(gè)例子,你可能已經(jīng)在新浪微博上關(guān)注了很多數(shù)據(jù)挖掘達(dá)人的微博,并且分享了很多算法學(xué)習(xí)的心得和問題,當(dāng)你第一次上當(dāng)當(dāng)網(wǎng)購書的時(shí)候,如果主頁向你推薦數(shù)據(jù)挖掘的最新專著并附有折扣,你會(huì)心動(dòng)嗎?交疊社會(huì)關(guān)系中的數(shù)據(jù)挖掘,或稱多維數(shù)據(jù)挖掘,是真正有望解決系統(tǒng)內(nèi)部冷啟動(dòng)問題的終極法寶——只要用戶在系統(tǒng)外部的其他系統(tǒng)有過活動(dòng)。單純從個(gè)性化商品推薦來講,可以利用用戶在其他電商的瀏覽購買歷史為提高在目標(biāo)電商推薦的精確度——當(dāng)然,每一個(gè)電商既是付出者,也是獲利者,總體而言,大家能夠通過提高用戶體驗(yàn)和點(diǎn)擊深度實(shí)現(xiàn)共贏。與此同時(shí),可以利用微博和其他社會(huì)網(wǎng)絡(luò)的活動(dòng)提高商品推薦的精度,還可以反過來利用商品瀏覽歷史提高微博關(guān)注對象推薦的精度。給一個(gè)經(jīng)常購買專業(yè)羽毛球和瀏覽各種專業(yè)羽毛球設(shè)備的用戶推薦關(guān)注羽毛球的專業(yè)選手和業(yè)余教練的成功率應(yīng)該很高,而且不會(huì)陷入“總在一個(gè)圈子里面來回推薦”的毛病中。

從機(jī)器學(xué)習(xí)的角度,楊強(qiáng)等人提出的“遷移學(xué)習(xí)”算法有望解決這種跨鄰域的推薦,因?yàn)檫@種算法最基本的假設(shè)就是在一個(gè)領(lǐng)域所學(xué)習(xí)的知識在其他領(lǐng)域也具有一定的普適性。Nori等人最近的分析顯示,在某系統(tǒng)中特定的行為(比如說在Delicious上收藏標(biāo)簽)可以被用于預(yù)測另外系統(tǒng)中的特定行為(比如說在Twitter上的信息選擇),其核心的思想與楊強(qiáng)等人一致。事實(shí)上,這種跨網(wǎng)的學(xué)習(xí)已經(jīng)被證明可以提高鏈路預(yù)測的效果。盡管有上面的有利的證據(jù),我們還是需要特別注意,遷移學(xué)習(xí)在不同領(lǐng)域間的效果差異很大,還依賴于相關(guān)系統(tǒng)內(nèi)部連接產(chǎn)生的機(jī)制,并不是普遍都能產(chǎn)生良好地效果,因?yàn)橛械臅r(shí)候在一個(gè)商品品類上表現(xiàn)出高相似性的用戶在另外一些商品品類上可能表現(xiàn)出完全不同的偏好。

圖7:用戶跨多個(gè)獨(dú)立B2C電商網(wǎng)站瀏覽購物的示意圖。

我們分析了百分點(diǎn)科技服務(wù)客戶的真實(shí)數(shù)據(jù),發(fā)現(xiàn)有相當(dāng)比例的用戶都具有交叉購物的習(xí)慣,即在多個(gè)獨(dú)立B2C電商有瀏覽和購買行為,如圖7所示。即便只考慮兩個(gè)點(diǎn)上,例如利用麥包包的瀏覽購買數(shù)據(jù)為名鞋庫的用戶進(jìn)行個(gè)性化推薦(這些用戶在名鞋庫上是沒有任何歷史記錄的新用戶,但是在麥包包上有瀏覽購買行為),就可以明顯提高推薦的準(zhǔn)確度(比完全冷啟動(dòng)的隨機(jī)推薦高數(shù)十倍),而如果利用3家或以上的外部電商的數(shù)據(jù),其推薦的精確度可以明顯高于熱銷榜(注意,熱銷榜一點(diǎn)個(gè)性化都沒有),特別在團(tuán)購類網(wǎng)站上表現(xiàn)非常好。擁有交叉用戶使得不同系統(tǒng)之間的“遷移”更加容易(注意,“遷移學(xué)習(xí)”原始的方法不要求系統(tǒng)之間具有相同的用戶和商品),Sahebi和Cohen最近測試同時(shí)評價(jià)了書和電影的用戶,也發(fā)現(xiàn)利用對書的評分信息可以相當(dāng)程度上預(yù)測對電影的評分。雖然針對多維數(shù)據(jù)挖掘的研究剛剛起步,但我相信其必將成為學(xué)術(shù)研究和商業(yè)應(yīng)用上的雙料熱點(diǎn)和雙料難點(diǎn)。

挑戰(zhàn)十:社會(huì)推薦。

很早以前,研究人員就發(fā)現(xiàn),用戶更喜歡來自朋友的推薦而不是被系統(tǒng)“算出來的推薦”。社會(huì)影響力被認(rèn)為比歷史行為的相似性更加重要,例如通過社會(huì)關(guān)系的分析,可以大幅度提高從科研文獻(xiàn)到網(wǎng)購商品,從個(gè)人博客到手機(jī)應(yīng)用軟件推薦的精確度。最近有證據(jù)顯示,朋友推薦也是淘寶商品銷售一個(gè)非常重要的驅(qū)動(dòng)力量。來自朋友的社會(huì)推薦有兩方面的效果:一是增加銷售(含下載、閱讀……),二是在銷售后提高用戶的評價(jià)。當(dāng)然,社會(huì)推薦的效果也不是我們想象的那么簡單:Leskovec等人在同一篇論文中指出針對不同類型的商品社會(huì)推薦的效果大不一樣;Yuan等人指出不同類型的社會(huì)關(guān)系對推薦的影響也不同;Abbassi等人指出朋友的負(fù)面評價(jià)影響力要大于正面評價(jià);等等。

在社會(huì)推薦方向存在的挑戰(zhàn)主要可以分為三類:一是如何利用社會(huì)關(guān)系提高推薦的精確度,二是如何建立更好的機(jī)制以促進(jìn)社會(huì)推薦,三是如何將社會(huì)信任關(guān)系引入到推薦系統(tǒng)中。社會(huì)推薦的效果可能來自于類似口碑傳播的社會(huì)影響力,也可能是因?yàn)榕笥阎g本來就具有相似的興趣或者興趣相投更易成為朋友,對這些不同的潛在因素進(jìn)行量化區(qū)別,也屬學(xué)術(shù)研究的熱點(diǎn)之一。

本文來源:產(chǎn)品中國

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 哪有圖啊

    來自河北 回復(fù)
  2. 上文【個(gè)性化推薦十大挑戰(zhàn)(中)】的鏈接是不是放錯(cuò)了?點(diǎn)擊跳轉(zhuǎn)了還是(下)

    來自浙江 回復(fù)