Airbnb是如何使用數(shù)據(jù)理解用戶旅行體驗(yàn)的?
Airbnb的數(shù)據(jù)科學(xué)家收集數(shù)據(jù)并使用這些數(shù)據(jù)來優(yōu)化產(chǎn)品,通過數(shù)據(jù)找出問題所在,并且通過數(shù)據(jù)協(xié)助做出業(yè)務(wù)決策。對于大多數(shù)用戶,“Airbnb體驗(yàn)”最典型的瞬間就發(fā)生在現(xiàn)實(shí)世界——當(dāng)他們根據(jù)自己計(jì)劃去旅行時(shí),當(dāng)酒店主人跟他們打招呼時(shí),當(dāng)他們住在酒店時(shí),當(dāng)他們探索目的地時(shí)。這些瞬間決定了Airbnb體驗(yàn)的成敗,不管我們的網(wǎng)站做得多大。這篇文章的目的是展示我們?nèi)绾卫脭?shù)據(jù)去理解用戶旅行體驗(yàn)的質(zhì)量,特別是如何增加“凈推薦值NPS”的價(jià)值。
目前,我們能收集到與線下體驗(yàn)的最好的相關(guān)信息是在旅客結(jié)束行程后通過Airbnb.com網(wǎng)站上的用戶反饋進(jìn)行相關(guān)信息反饋。這個(gè)反饋是可選的,要求對總體體驗(yàn)使用文本反饋并進(jìn)行1-5的評價(jià)分?jǐn)?shù)打分,除了總體體驗(yàn)還有其他子分類項(xiàng)目,例如準(zhǔn)確性(Accuracy)、整潔度(Cleanliness)、入住(Checkin)、溝通(Communication)、地點(diǎn)(Location)和價(jià)值(Value)。從2013年年底開始,我們增加了一個(gè)問題到我們的反饋表中,這就是NPS問題。
NPS或者稱“凈推薦值”是在2003年由Fred Reicheld引入到客戶忠誠度并得到廣泛的使用,相關(guān)可以參考
[https://hbr.org/2003/12/the-one-number-you-need-to-grow/ar/1] 。我們問用戶“你有多大可能向你的朋友推薦Airbnb?”,這就是所謂的“可能性推薦”或LTR問題。那些對此可能性問題回答9或10的用戶被標(biāo)記為“推薦者”或忠誠的熱心者,那些只打了0-6分的用戶則被標(biāo)記為“批評者”或不滿意的用戶,那些打了7或8分的用戶則被認(rèn)為是“被動(dòng)的”,他們喜歡公司的產(chǎn)品或服務(wù),但不會(huì)向朋友推薦。。我們公司的NPS(凈推薦值)是通過“推薦者”百分比減去“批評者”百分比去計(jì)算的,結(jié)果值是一個(gè)-100到+100的一個(gè)數(shù)字,-100是最糟糕的情況,即所有的打分的都是批評者,+100則是最好的情況,即所有的打分者都是推薦者。
通過用戶一個(gè)簡單的住宿滿意度去衡量一個(gè)用戶的忠誠度,NPS調(diào)查的目標(biāo)是成為一個(gè)更有效率的方法論去確定顧客再次回來預(yù)訂的可能性、向朋友傳播推薦的可能性,并防止市場壓力使用戶流失到競爭對手中。在這篇博客中,我們期待我們的數(shù)據(jù)去找出事實(shí)是否真的如此。我們發(fā)現(xiàn)較高的NPS確實(shí)普遍對應(yīng)著更多的推薦人和重新預(yù)訂。
方法論
我們將參考單獨(dú)個(gè)體對于NPS問題作答作為他們LTR(推薦可能性)分?jǐn)?shù)的打分,NPS的分?jǐn)?shù)范圍是-100到+100,LTR是一個(gè)范圍從0到10的整數(shù)。在這項(xiàng)研究中,我們看看所有在2014年1月15日和2014年4月1日之間結(jié)束他們旅程的客戶,如果一個(gè)顧客在此段時(shí)間進(jìn)行了超過一次的旅程,僅僅以第一次旅程作為參考,然后我們嘗試預(yù)測客戶是否會(huì)在Airbnb進(jìn)行下一次的預(yù)定,而這下一次的時(shí)間范圍是從顧客結(jié)束了他的此次旅程后到未來一年的時(shí)間內(nèi)。
有一點(diǎn)需要注意的是,再一次旅程結(jié)束后的反饋是可選擇而非必須的,而且反饋表也是由不同的部分構(gòu)成的。有一小部分用戶并不會(huì)填寫反饋表或者選擇性地填寫了反饋表并不回答NPS問題,而NPS通常只能根據(jù)反饋者去做計(jì)算。在這個(gè)分析中,我們將沒有填寫反饋表的用戶或者填了反饋表但沒有填NPS問題的用戶等因素考慮進(jìn)去。
為了評估LTR的預(yù)測能力,我們控制與重新預(yù)定相關(guān)的其他參數(shù),這些參數(shù)包括:
- 關(guān)于總體反饋得分和反饋表中子類項(xiàng)的選項(xiàng),所有反饋項(xiàng)目都分為1-5個(gè)等級。
- 顧客獲取渠道(例如自然加入的顧客或同個(gè)營銷活動(dòng)引入的顧客)。
- 旅程目的地(例如美國、歐洲、亞洲等)。
- 顧客來源地。
- 之前有在Airbnb預(yù)定的顧客。
- 旅程距離遠(yuǎn)近程度。
- 顧客數(shù)量。
- 每晚價(jià)格。
- 結(jié)賬的月份(考慮季節(jié)性)。
- 房間類型(整個(gè)家庭、包房、公用客房等)。
- 顧客主人擁有其他物品的數(shù)量。
我們承認(rèn)我們的方法可能會(huì)有以下缺陷:
- 可能還存在其他形式的與忠誠度相關(guān)的因素沒有被獲取到,我們是根據(jù)公司推薦計(jì)劃提出來的提議參考的,用戶忠誠度也能從口碑推薦中體現(xiàn)出來,但此研究并沒有獲取到此項(xiàng)。
- 可能有一些顧客重新預(yù)定的時(shí)間跨度比較長,我們比較關(guān)注一年時(shí)間跨度,但有些顧客可能不經(jīng)常去旅行,那他們可能在兩到三年才會(huì)重新預(yù)定。
- ?一個(gè)顧客的LTR可能不能夠作為NPS結(jié)果的直接替代品,但即使基于顧客的LTR可能無法準(zhǔn)確預(yù)測顧客重新預(yù)定的可能性,但我們使用NPS去預(yù)測一個(gè)完整的群體重新預(yù)定的可能性,這將會(huì)使我們更好地經(jīng)營。
盡管存在這些不足,我們希望這項(xiàng)研究可以提供一種量化的方式去思考NPS的價(jià)值,它能讓我們更好地理解線下的體驗(yàn)。
數(shù)據(jù)的統(tǒng)計(jì)描述
我們的數(shù)據(jù)覆蓋了超過600000的顧客,我們的數(shù)據(jù)顯示,提交了反饋表的顧客中,三分之二的顧客是NPS的推薦者,超過一半顧客給LTR打了10分,我們數(shù)據(jù)集里面的600000用戶中只有百分之二是批評者。
旅程反饋表的總體評價(jià)分?jǐn)?shù)旨在評估此次行程的質(zhì)量,而NPS問題則有助于評估顧客的忠誠度。我們通過查看LTR分?jǐn)?shù)的分布式與旅程反饋表總體分?jǐn)?shù)之間的關(guān)系,進(jìn)而來看看這兩個(gè)變量如何互相關(guān)聯(lián)。雖然LTR與反饋表總體得分是相關(guān)的,但它們還是提供了一定差異信息。例如,經(jīng)歷了一個(gè)令人失望的體驗(yàn)后的那些一小部分顧客中,它們反饋表只給了一星評價(jià),但這里面26%的顧客其實(shí)是Airbnb的推薦者,這表明他們?nèi)匀粚境址e極態(tài)度。
記住,我們的旅客中NPS批評者只有非常小的一部分,而LTR與反饋總體分?jǐn)?shù)有很大的關(guān)聯(lián)性,我們研究如何將LTR與重新預(yù)定率和推薦率關(guān)聯(lián)起來。
當(dāng)一個(gè)顧客在結(jié)束完旅程的12個(gè)月內(nèi)通過我們的推薦系統(tǒng)向至少一個(gè)朋友作推薦時(shí),我們認(rèn)為這些顧客是推薦者。我們看到填寫了NPS問題的那些顧客,更高的LTR對應(yīng)著更高的重新預(yù)訂率和更高的推薦率。
如果不考慮其他變量,比起批評者(0-6分)的顧客,那些給LTR打了10分的顧客高出13%的可能會(huì)重新預(yù)訂,且高出4%的可能會(huì)在未來12個(gè)月推薦給好友。有趣的是,我們注意到反饋者中重新預(yù)訂率幾乎與LTR呈線性關(guān)系(我們沒有足夠的數(shù)據(jù)去區(qū)分0-6分的反饋者)。這些結(jié)果表明,對于Airbnb,反饋打9分和10分的人作為推薦者。我們還注意到,沒有留下反饋評論的顧客行為與批評者一樣,事實(shí)上,比起LTR0-6分的顧客,他們稍微更加不太可能重新預(yù)定和推薦給好友。然而,提交了反饋表單但沒有回答NPS問題的顧客(被標(biāo)記為“no_nps”)的行為與推薦者的行為相似,這些結(jié)果表明,當(dāng)我們做NPS測定時(shí),保持反饋率也同樣重要。
接下來,我們看看其他因素是如何影響重新預(yù)定率的。例如,我們通過10周數(shù)據(jù)發(fā)現(xiàn)重新預(yù)訂率是季節(jié)性的,這可能是因?yàn)榈韭每屯侵艺\的顧客和經(jīng)常旅行的人。
我們看到短途旅行的顧客更有可能重新預(yù)定,這可能是因?yàn)橛行╊櫩褪褂肁irbnb進(jìn)行了一個(gè)長期住宿,而他們不太可能會(huì)在明年又進(jìn)行另外一個(gè)長期住宿。
我們還看到,重新預(yù)訂率與每晚價(jià)格列表有拋物線關(guān)系,住在非常昂貴的酒店的顧客不太可能會(huì)重新預(yù)定,但住在非常便宜的房源的客人也不太可能會(huì)重新預(yù)定。
哪些反饋表項(xiàng)目最能預(yù)測重新預(yù)定?
除了整體星級評分和LTR得分外,顧客可以選擇性地回答他們反饋表中其他子項(xiàng)目,所有項(xiàng)目都分為1-5星級:
- 準(zhǔn)確性
- 清潔度
- 入住
- 溝通
- 地點(diǎn)
- 價(jià)值
在此部分中,我們將研究根據(jù)反饋率去預(yù)測顧客是否會(huì)在此次旅程結(jié)束后的未來12個(gè)月內(nèi)進(jìn)行另外一個(gè)旅程。同樣我們還將研究哪個(gè)子項(xiàng)目選項(xiàng)最能預(yù)計(jì)重新預(yù)定。
為了做到這些,我們比較了一系列的嵌套邏輯回歸模型,我們從一個(gè)基礎(chǔ)模型開始,而基礎(chǔ)模型僅僅包含我們在前面部分提到的一些非反饋表的特征做為變量:
然后,我們往這個(gè)基礎(chǔ)模型中添加一些列反饋表的項(xiàng)目:
- f1 = f0 + communication
- f2 = f0 + cleanliness
- f3 = f0 + checkin
- f4 = f0 + accuracy
- f5 = f0 + value
- f6 = f0 + location
- f7 = f0 + overall_score
- f8 = f0 + ltr_score
我們通過AIC準(zhǔn)則比較匹配度的方法分別將模型“f1”到“f8”與嵌套模型“f0”進(jìn)行對比,看哪個(gè)模型的質(zhì)量比較高,AIC準(zhǔn)則在模型擬合度和參數(shù)數(shù)量之間進(jìn)行權(quán)衡,參數(shù)越多可能會(huì)抑制模型擬合度。
如果我們僅僅引入一個(gè)反饋表項(xiàng)目,LTR和總體得分吻合度排名并列第一,添加任何一個(gè)子項(xiàng)目也能提升模型吻合度,但仍然比不上LTR或總體得分兩項(xiàng)。
接下來,我們通過引入LTR調(diào)整我們的基礎(chǔ)模型,不斷重復(fù)執(zhí)行這個(gè)過程看我們可以再往模型中添加反饋表的哪一項(xiàng)。
通過引入LTR,下一個(gè)能提升我們模型的子項(xiàng)目是反饋表的總得分,添加第二個(gè)反饋表項(xiàng)目到模型后僅僅稍微提高了模型的擬合度(注意區(qū)別兩個(gè)曲線的標(biāo)度)。
我們不斷重復(fù)上面操作,不斷將反饋表的的某些項(xiàng)目添加到模型,直到模型統(tǒng)計(jì)到不再有顯著變化,我們留下了以下一組反饋表項(xiàng)目:
- LTR
- 總體得分
- 六個(gè)子項(xiàng)目中任意其中三項(xiàng)
這些研究結(jié)果表明,由于反饋表項(xiàng)目彼此有很強(qiáng)的相關(guān),一旦我們有了LTR和總體得分兩項(xiàng)后,我們僅僅只需要六個(gè)子項(xiàng)目中的其中三項(xiàng)來優(yōu)化我們的模型,加入更多的其余子項(xiàng)目將增加更多的自由度,而不能顯著改善模型預(yù)測的準(zhǔn)確性。
最后,我們測試了我們模型預(yù)測的準(zhǔn)確度:
項(xiàng)目 | 準(zhǔn)確性 |
僅僅引入LTR | 55.997% |
僅僅引入旅程信息 | 63.495% |
旅程信息 + LTR | 63.58% |
旅程信息 + 其他反饋表項(xiàng)目 | 63.593% |
旅程信息 + LTR + 其他反饋表 | 63.595% |
僅僅使用旅客結(jié)束行程后的LTR,我們可以預(yù)測他們是否會(huì)在未來12個(gè)月內(nèi)進(jìn)行重新預(yù)定,準(zhǔn)確率達(dá)到56%。如果提供旅客的基本信息給我們,例如主人信息和行程信息,我們可以將預(yù)測的準(zhǔn)確率提升到63.5%。如果添加反饋表項(xiàng)目(不包括LTR),我們可以做到額外0.1%的提升。提供所有這些信息,包括將LTR加入到模型中準(zhǔn)確率僅僅只會(huì)再提升0.002%。
結(jié)論
旅程反饋表(包括LTR)僅微略提高我們預(yù)測旅客結(jié)賬后的12個(gè)月內(nèi)旅客是否還會(huì)再次預(yù)定的能力,在控制了行程和旅客特征等變量后,反饋表星級評級僅僅提升了我們預(yù)測準(zhǔn)確性的0.1%。在所有反饋表子項(xiàng)目中,LTR對于預(yù)測重新預(yù)定最有幫助,但如果我們控制了其他項(xiàng)目變量后,它僅僅提升了0.002%準(zhǔn)確性。這是因?yàn)長TR和反饋表總體得分是高度相關(guān)的。
反饋表的目的不僅僅在于預(yù)測重復(fù)預(yù)定,它們使平臺(tái)更加讓人信任,有利于企業(yè)建立自己的聲譽(yù),提高企業(yè)執(zhí)行質(zhì)量。我們發(fā)現(xiàn)LTR分?jǐn)?shù)更高的旅客更有可能通過我們的推薦系統(tǒng)向其他人推薦Airbnb,他們更可能通過自己好的口碑推薦給別人,批評者實(shí)際上會(huì)貶低Airbnb以阻止其他人加入Airbnb平臺(tái)。這里沒有探討將NPS附加關(guān)聯(lián)到業(yè)務(wù)行為的可能性。但考慮到批評者數(shù)量非常少且只是用LTR進(jìn)行預(yù)測重新預(yù)定,我們應(yīng)該謹(jǐn)慎讓旅客的NPS擁有過多的權(quán)重。
原文:How well does NPS predict rebooking?
譯文由杰微刊兼職譯者汪健翻譯
“僅僅引入旅程信息” 預(yù)測重復(fù)使用的準(zhǔn)確性為 63.495%, 而使用“旅程信息 + LTR”的 準(zhǔn)確為 63.58% 提升不過0.085% 為何得到了“在所有反饋表子項(xiàng)目中,LTR對于預(yù)測重新預(yù)定最有幫助”的結(jié)論? 請明示,謝謝。