一種分析評論反饋的系統化方法:以滴滴出行為例
本文介紹一種分析評論反饋的系統化方法。這種方法基于內容分析(Content Analysis)研究方法,但是十分簡單有效。
為什么要分析評論反饋
任何2C的產品都避免不了海量的用戶評論/反饋,這恐怕對普通用戶來說,最直接的向產品表達看法的途徑了。如果能夠正確地分析這些評論,發現關鍵問題,產品就不會走向歪路……不過可不容易。很多產品對用戶評論的重視度并不高,即便愿意花費精力去分析,即便分析了,使用的方法也是五花八門。
我以前實習的時候做過一種“打雜”的工作,就是回復用戶反饋。我那時在1禮拜之內將反饋的回復率提高到了大約80%,只剩20%實在無法理解的才沒有回復。我那段實習經歷中不乏重要項目的策劃、設計和實施,但是我卻覺得那段回復評論的“打雜”是讓我收獲最多的工作,也是對產品收益最大的工作。
有人也許想說,現在有的是分析工具、人工智能來做大數據分析,還需要人工分析評論嗎?我們現有的工具,大多只能對文字做一個非常粗略的統計,而無法真正理解文字背后的意圖,所以真正有價值的工作,還是脫離不了人力。
該用什么方法
現在用研也不是什么罕見工作了,分析用戶評論的方法非常多,而且誰都可以自創一種。我并不覺得有什么方法是一定好的,有什么是一定不好的。不過,學術界有一個叫做內容分析(Content Analysis)的領域,專門研究文字、媒體信息,半個世紀的時間里有很多人通過研究分析,終于找到了一套較為成熟的方法。我想,花費眾人半個世紀才研究出來的分析方法,應該還是經得起考驗的吧。所以,我決定在這里介紹一個以內容分析法為基礎的,分析產品評論和反饋的方法。
系統化的內容分析最早是在1927年被一個叫做 Lasswell 的人用來分析政治宣傳內容,也是挺神奇。接下來的二三十年代里,內容分析被用來研究當時快速發展的電影領域。五十年代隨著電視的普及,內容分析成為了大眾傳播研究的重要手段。到了現在,內容分析以及開始運用于網絡社區以及評論的分析研究。
Lasswell 最早給內容分析的定義是這樣的:“誰說了什么,通過什么渠道,對誰說的,有什么影響”。
然而在產品評論和反饋這種單一場景中,這個定義里面剩下“誰說了什么,對誰說的”有意義,減輕了不少復雜程度。
進過這么多年的發展,內容分析其實早已不是一種單一的手段,里面涉及到了很多新的因素,例如多媒體內容分析、定性分析、計算機分析等等。但是真正發展成熟、被廣泛認得的,還是比較傳統的文字定量分析。我打算在這里介紹的,也是這種已經比較確定的方法。
分析步驟
別看前面扯了一大堆,其實這個方法非常簡單,其最大的價值不過是標準化而已。為了方便理解,我使用了應用寶里滴滴出行的評論作為案例。
1、選擇樣本
這里的樣本也就是指產品評論和反饋的內容了,通常不要少于50條。不過需要注意的是,參與分析的人必須完整讀完所有內容,所以要量力而行。為了以后方便維護,可以給每一條加上編碼。
下面是滴滴出行在應用寶里的50條最新用戶評論:
2、設計分組
你先把前25條通讀一遍,寫下可行的分組計劃,例如“支付問題、下單問題、登錄問題”等。這個分組設計以后可以調整,但是這里需要定制一個初始計劃。
25條這個數是針對不太復雜的產品而言的,如果是像微信這種什么功能都有的產品,那這個數量就不夠了。如果產品模塊和功能較多,可以先將各自的評論和反饋區區分開來,再進行分析。
如果是自己獨自完成,只需寫下分組名稱就好了。如果維保準確性,多人同時進行,則需要給每組寫下描述和規則。
下面是范例:
3、完成分組
按照通過前25條設計的分組方案,閱讀其余的內容并完成它們的分組。在這個過程中,如果發現先前設計的分組方案不合理,可以進行修改。
以下是滴滴出行的分組范例:
4、記錄關鍵問題和現象
在分組過程中或之后,仔細閱讀評論的過程中肯定會遇到一些關鍵的問題和現象,你一定要在發現的第一時間記錄下來,不然后來肯定就忘記了。
這也是通讀評論的價值所在,通過一條一條的理解,很多真正的問題都藏在粗略的文字背后。例如,滴滴出行的反饋里面多次出現“相同路線來回價格不一致”、“預估價格與實際價格相差過大”等評論,它們是不是都指向一個問題——“缺少價格解釋”?
滴滴出行的范例:
5、統計分析
如果你整個分析都是在Excel里完成的,那么統計起來就方便了。你可以算一算正負面評價的比例和最受關注的問題。
不過,最有用的分析可能挺不是這些定量的數據,而是你記錄下單關鍵問題和現象。通過整理,你會發現很多之前沒有想過的問題,只有真正一條一條閱讀分析才能挖掘出來。
范例:
其它
一個人的判斷不一定準確,所以這種分析可以叫上兩個人同時進行,這樣的話分組規則就不能輕易修改了。兩人分別分組之后,可以計算一下兩人得出相同結果的概率是多少,通常要80%~90%以上才能夠確保結果的可信度。
分析關鍵問題這一步驟其實已經超出傳統的定量分析,借鑒了一些定性分析的成分。因為這畢竟是產品的用戶調研,不像心理學研究那樣要求絕對的準確率與客觀性,所以這里就可以不用太過拘泥于方法,關鍵是一定要通讀并理解所有內容。
評論和反饋中肯定有相當一部分是你無法理解或是與產品無關的,這些內容可以跳過不計。
總結
內容分析的方法畢竟太過專業,真正做的時候可以有一定的靈活性,但是這四條不能忽視:
- 保證內容的數量在50條以上,但也不用太多
- 一定要通讀并理解,不要隨便掃一眼或者干脆搜索關鍵詞
- 謹慎并且不斷優化分組規則
- 透過現象看本質,隨時記錄發現的關鍵問題
標注:*我使用“分組”這個詞,與英文中的“coding”有很大差異。但是直譯的話會容易讓人產生誤解,所以使用了感官上較為模糊的一種翻譯。
作者:Z Yuhan
來源:https://zhuanlan.zhihu.com/p/27344847?group_id=857251125521440768
本文由 @Z Yuhan 授權發布于人人都是產品經理,未經作者許可,禁止轉載。
看這文章之前,我還去滴滴把反饋流程走一遍,沒想到,這文章比較主要的2個點是分組跟留心核心問題。
不錯!系統思維在處理內容時效果很優,這種時候特別一個方法論,一個框架!不知道我表達清楚沒
其實,這種分析針對數據量小還可以,如果幾萬條文本,且涉及產品,服務,品牌等等的時候按照現在的這種方法,基本就廢了。