用戶反饋分析實例:新浪新聞客戶端
編輯導(dǎo)語:當(dāng)用戶產(chǎn)生疑問,或者遇到其他問題時,可能就會通過用戶反饋系統(tǒng)將自己的問題反映給平臺方,之后再由平臺方進(jìn)行處理。然而用戶反饋中可能存在著大量無意義的內(nèi)容,如何才能知曉哪些用戶反饋是有效的?又應(yīng)該如何對其進(jìn)行處理?本文作者結(jié)合實際案例對該問題進(jìn)行了總結(jié),一起來看一下。
一、引言
在新浪新聞,我接觸到的第一項工作就是月度用戶反饋的分析。
新浪新聞具有一套成熟度較高的客服系統(tǒng)來分發(fā)和處理大批量的用戶反饋,所以用研的主要工作側(cè)重于對反饋內(nèi)容進(jìn)行聚類分析,探索有價值的體驗優(yōu)化方向。接下來,我想分享在新浪新聞的用戶反饋分析工作當(dāng)中的工作思路、實際經(jīng)驗和一些想法,希望和大家進(jìn)行討論。
二、哪些用戶反饋更重要?
在不同的團(tuán)隊架構(gòu)中,處理用戶反饋的崗位可能有所不同(也許是客服、運營或者產(chǎn)品)。
很多接觸過用戶反饋的朋友可能都或多或少發(fā)現(xiàn)——在大量無意義、無原因、重復(fù)性的反饋內(nèi)容里,到有價值的內(nèi)容似乎并不是一件容易的事情——所以,我們首先要做的就是對海量的反饋內(nèi)容進(jìn)行拆分和合理聚類,這也就引出了第一個問題:有哪些類型的用戶反饋?其中哪些是重要的?
1. 功能類反饋
在新浪新聞的用戶反饋處理系統(tǒng)中,經(jīng)??吹接脩籼岢鲞@樣或者那樣的功能需求,“為什么不能調(diào)節(jié)行間距?”“為什么評論不能發(fā)動圖?”——面對這一類問題,我通常會結(jié)合業(yè)務(wù)現(xiàn)狀去思考:
- 用戶實際的需求是什么?
- 我們現(xiàn)在是否已具備相關(guān)功能能夠滿足用戶的需求?
- 如果已有相關(guān)功能,用戶為何不使用?
- 如果沒有相關(guān)功能,是否需要添加?
2. 內(nèi)容類反饋
新浪新聞作為內(nèi)容流產(chǎn)品,來自用戶的內(nèi)容類反饋也是非常常見的,其中,內(nèi)容質(zhì)量問題和推薦算法問題是最主要的2個組成部分。
這兩種類型的問題優(yōu)化都是中長期,甚至持續(xù)不間斷迭代進(jìn)行的,有可能用戶提出的問題,對應(yīng)業(yè)務(wù)側(cè)已經(jīng)優(yōu)化完就等上線了,這就需要用研深入扎根業(yè)務(wù),才能做到不浪費資源,動態(tài)分析。
3. 運營/活動類反饋
在我的經(jīng)驗中,短期的運營活動會產(chǎn)生大量用戶反饋(通常占全量80%左右)——詢問活動流程和規(guī)則的,吐槽頁面卡頓或者BUG的,查詢活動收益和獎品兌換結(jié)果的,不一而足。
分析這一類反饋是性價比較低的,不僅因為發(fā)現(xiàn)的問題往往因為時間周期的關(guān)系來不及修復(fù)/優(yōu)化,且這次的經(jīng)驗下次也未必能夠復(fù)用,故通常關(guān)注一下高頻關(guān)鍵詞,排查一下重大問題,對客服話術(shù)進(jìn)行優(yōu)化,即可解決主要問題。
當(dāng)然,如果時間非常充足,也可以不考慮這些。
4. 賬號/評論類反饋
這一類問題通常來自于因評論命中某些管理規(guī)范而被限制賬號權(quán)限的用戶,通常只需要客服按手冊進(jìn)行回復(fù)即可,但也有例外,如登錄異常的反饋量明顯上升,我們也需要搞清楚其中發(fā)生了什么,才能夠判斷接下來是否需要、如何采取措施。
5. BUG類反饋
諸如“圖片變黑白”“頁面無內(nèi)容”這一類BUG問題處理起來是最為簡單的,在用研接手之前,客服部門一般都已對BUG進(jìn)行復(fù)現(xiàn)核實,將問題報告給對應(yīng)的業(yè)務(wù)負(fù)責(zé)人,極少會出現(xiàn)用研從反饋中發(fā)現(xiàn)未知BUG的情況,一般只需要關(guān)注問題趨勢和跟進(jìn)處理進(jìn)度即可。
6. 其它類型反饋
有相當(dāng)數(shù)量的用戶(較常見的是在應(yīng)用商店評分里)并不會對產(chǎn)品問題進(jìn)行具體的描述,而只是單純地抒發(fā)個人情緒感受,這一類反饋通常不具有太多分析意義,故在此按下不表。
三、客戶端內(nèi)用戶反饋處理流程
1. 數(shù)據(jù)清洗
在拿到當(dāng)月的用戶反饋原始數(shù)據(jù)之后,通常按照以下步驟完成數(shù)據(jù)清洗:
- 對不同來源的數(shù)據(jù)進(jìn)行合并,統(tǒng)一格式;
- 刪除無效數(shù)據(jù);
- 對同場景的多條反饋信息進(jìn)行內(nèi)容按類型進(jìn)行合并/拆分(這一步比較漫長)。
2. 分類匯總
按照反饋類型給每條信息編碼,得利與新浪新聞用戶反饋系統(tǒng)的完善性,到手的數(shù)據(jù)中絕大部分是自帶類型編碼的,但編碼信息是用戶自主提交的,準(zhǔn)確度并不足夠高,因此用研還是會全部瀏覽一遍,逐一進(jìn)行匹配修正。
3. 數(shù)據(jù)可視化
在完成編碼之后,我們首先會對每種類型的反饋數(shù)量進(jìn)行計數(shù)統(tǒng)計,給出數(shù)據(jù)透視表,然后和過往數(shù)據(jù)進(jìn)行縱向比較,了解問題變化的趨勢。除了和上月反饋數(shù)量進(jìn)行對比之外,還會繪制半年趨勢的折線圖,如果發(fā)現(xiàn)某種類型的問題有連續(xù)變化的趨勢或者出現(xiàn)較大的拐點,則意味著需要給予額外關(guān)注。
此外,我會對具有一定規(guī)模的二級問題進(jìn)行滲透度分析,給出四象限圖(X=反饋量,Y=影響規(guī)模),對進(jìn)入一二三象限的問題進(jìn)行重點討論(PS. 值得一提的是,到現(xiàn)在為止并沒有出現(xiàn)過象限I問題)。
4. 需求分析
通過上述工作,我們已經(jīng)可以得到來自當(dāng)月用戶反饋的用戶痛點問題清單,但這些問題并不是需要全部、立刻拿小鞭子抽著產(chǎn)品經(jīng)理去討說法的,在此之前,我會先進(jìn)行一輪需求分析:
- 這個問題是如何產(chǎn)生的?會對哪些用戶產(chǎn)生何種程度的影響?
- 這個問題是短期還是中長期問題?
- 是否有較為明確的優(yōu)化方向
- 根據(jù)重要和緊急程度,依次找對應(yīng)的業(yè)務(wù)負(fù)責(zé)人溝通問題現(xiàn)狀,討論解決方案
- 獲得結(jié)論,包括是否處理、處理方案、優(yōu)先級、排期等。
5. 歸檔與追蹤
建立往期問題檔案清單,把每個月的重點用戶體驗問題進(jìn)行歸檔。我每次會把它作為附錄放到報告的末尾,在完成月度反饋分析工作的時候,順手跟蹤一下往期優(yōu)化中的項目的最新進(jìn)展,這樣可以很好地了解到自己的工作成果落地的情況,跟產(chǎn)品/運營/開發(fā)等不同崗位的同事多溝通有助于深入學(xué)習(xí)和了解業(yè)務(wù)。
如果業(yè)務(wù)側(cè)認(rèn)為你提出的問題很有價值,也許還能誕生出一個更具有針對性的專項研究,一舉多得。
四、小結(jié)與思考
1. 各職能線精益協(xié)作對用戶反饋分析的促進(jìn)作用
完成用戶反饋分析工作的過程當(dāng)中,用研會持續(xù)與客服、產(chǎn)品、運營,交互乃至研發(fā)等不同崗位的小伙伴進(jìn)行溝通??头獙?shù)量龐大且內(nèi)容各異的用戶反饋信息進(jìn)行第一手處理,很多BUG類問題在分析之初先找客服聊一輪,往往就能夠了解到問題的發(fā)生原因、處理方案/結(jié)果、業(yè)務(wù)對接人是誰等等。
而業(yè)務(wù)側(cè)也會幫助用研深入了解業(yè)務(wù)現(xiàn)狀,分析相關(guān)數(shù)據(jù),積極討論體驗點是否轉(zhuǎn)化為需求,以及跟進(jìn)需求最終落地。
可以說,用研能夠借助用戶反饋來挖掘用戶需求,實現(xiàn)優(yōu)化用戶體驗,很大程度上得益于各職能線之間的精益協(xié)作。
2. 負(fù)反饋的局限性
一直以來,我們圍繞用戶提出的負(fù)反饋進(jìn)行縱向深入的監(jiān)測和分析工作,為最大化降低用戶的負(fù)面體驗付出了許多努力,也收獲了很多關(guān)于體驗提升的策略落地成果。盡管用戶反饋的價值已被論證,但我們還是應(yīng)該注意到,如果只分析來自客戶端內(nèi)客服系統(tǒng)的負(fù)反饋,也具有明顯的局限性:
- 被動:我們在評估時只能被動接收有反饋意愿的用戶提出的問題,也很難有機(jī)會后續(xù)溝通聯(lián)系,往往無法明確問題細(xì)節(jié)。
- 滯后:由于采用月度評估,相對與客服系統(tǒng)的即時性,用研對反饋問題做出反應(yīng)的時間較為滯后。
- 幸存者偏差:正常使用產(chǎn)品的用戶不會提負(fù)反饋,負(fù)反饋用戶對產(chǎn)品甚至品牌存在負(fù)面偏見,對產(chǎn)品更加“挑剔”,無法代表全部用戶的想法。
- 維度單一:只分析負(fù)反饋,不關(guān)注正反饋。
在許多產(chǎn)品中,對于產(chǎn)品/服務(wù)的體驗度量的嘗試大都集中在解決用戶的“負(fù)反饋”維度,然而這種維度相對單一的聚焦方式,無法客觀、真實反映用戶對產(chǎn)品/服務(wù)的完整體驗。
在用戶研究的層面上,我們認(rèn)為可以從一個更為積極的角度出發(fā),探索用戶對新浪新聞更為立體的體驗評價,形成一套可量化、可持續(xù),且(和負(fù)反饋分析方法相較)更為立體和主動的用戶體驗度量衡——這將是我們后續(xù)工作的目標(biāo)。
本文由 @新浪MDC 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于 CC0 協(xié)議
專業(yè)又成體系?。。?/p>