如何挖掘用戶評論,聽到真實聲音?

2 評論 11129 瀏覽 37 收藏 10 分鐘

評論區研究雖然是一個以文本內容分析為主的研究,但是在數據量龐大的情況下,我們不能忽略掉量化處理和反饋結果的客觀性與準確性。

網上購物時,我們一般只能看到商品的圖文詳情,但是光憑圖片與文字,往往無法對商品的優劣做出準確判斷,這個時候,已購者的評論對我們是否會購買該商品起著很大的作用。在閱讀網站或者APP上選擇一本書進行閱讀或購買也是同樣的道理。因為錯誤的選擇意味著我們要為這本書付出時間甚至金錢。因此,除了了解出版社、內容簡介等書籍相關信息之外,我們還需要參考其他讀者的意見,來判斷這本書的質量到底好不好,合不合我們的口味。

另一方面,隨著IP的概念席卷整個文娛產業 (如閱讀、影視、游戲、動漫、音樂等等) ,版權費也隨之一漲再漲,有的甚至高達幾千萬元?;ヂ摼W免費時代終結,付費模式隨之襲來。面對高昂的運營成本,營收逐漸成為內容型產品策劃與運營主要關注的指標。從這個角度來說,關注閱讀產品的評論區與關注電商產品的評論區對策劃和運營同樣重要。因此,作為用戶研究人員,有時也需要協助產品去了解產品內甚至是各個渠道上的用戶反饋情況。

下面,以《網易云閱讀評論區分析項目》為例進行介紹。

1項目前期的分析與思考

項目的總體目標是了解目前平臺評論區的用戶反饋與質量,同時關注用戶的潛在需求與問題點,為后續產品與運營提供可行性方向指導。在項目開始前,我們主要關注了以下幾點:

  • 展現用戶的評論反饋似乎不是難事,難點在于數百萬的評論怎么展示??????如何提取“合適的、有代表性的”評論供產品方了解情況?
  • 評論的質量是一個抽象名詞,我們該怎樣將其量化?質量的衡量標準是什么?
  • 書評文本不同于問卷開放題的文本,它沒有統一的主題與中心。如何從這些評論中區分出優秀體驗點和低劣體驗點,分辨出哪些是用戶的感情,哪些是需求?
  • 最后也是最重要的一點,即落地性:如何輸出結論,才能指導產品運營與設計?

2研究框架的搭建與指標的提取

一般來說,當看到輿情或者評論分析項目時,我們的第一反應會認為這應該是一個“文本分析”項目。其實不然,文字雖然是評論的主體,但是與一般的定性類項目不同。在面對龐大的數據量時,需求方更希望能得到一個關乎量的反饋,一個客觀的、可以明確目前平臺書籍質量在用戶心中到底是好是壞的反饋;當然還有背后的原因,就是用戶到底有哪些滿意的或者不滿意的地方?用戶的需求是什么?哪些是我們可以滿足的?因此,我們確立了以客觀的數據為骨架,以文字內容分析為血肉的大方向,將產品分為出版和原創 (原創又分為男頻和女頻) 兩個大的模塊考量,同時,考慮數據的可得性和不同分析維度,在按照書籍提取了評論文字內容之后輔助分析了以下指標:

(1)每本書評論數量、是否是大師評論、評論的星級

這些指標與評論密切相關,通過評論的數量、質量 (大師評論、星級) 等,可以在一定程度上反應版塊的活躍度和受歡迎程度。當然也可以滿足統計出一些基本的數據,在整體上對于評論的情況有一個大致的了解,明晰后續改進的方向。

(2)書籍名稱、書籍類型、PV/UV

但是,僅僅分析書評相關顯然是不夠的,因為書評可以視為一個因變量,而這個因變量很大程度上受書籍內容類型和質量的影響,所以在信息挖掘的時候也要考慮書籍層面等背景信息相關維度的指標。選擇PV/UV的主要原因是考慮到不同的書籍評論曝光程度不同,評論影響力也不同。

(3)用戶注冊時間、用戶等級

同時,在定量研究中,我們往往很關注受訪者信息,也就是樣本的Profile,因為不同背景的人群,往往會得出截然不同甚至相反的結論。因此,我們同時也會提取用戶的注冊時間與等級。這樣我們就可以知道平臺評論用戶的構成是怎么樣的,他們的評論是不是會有所不同。

3統計方法的選擇與結論的輸出

因為平臺數據量較大,在拆分為出版、原創男頻、原創女頻之后,顆粒度依舊太粗,會導致結論不分明。因此我們考慮進一步按照產品現有維度細分:

  1. 篩選每個版塊的大師評論,也就是精華評論,即點贊數最多、展示于評論區最前列的評論。它最能代表讀者心理認同的內容;同時大師評論越多,體現版塊越活躍,評論區質量越高。
  2. 篩選每個版塊的五星級評論,集中體現讀者關于書籍好的反饋;篩選每個版塊中三星及以下評論,集中體現讀者關于書籍不太好的反饋。

在方法上,我們首先利用詞頻來展現每個版塊下不同維度評論里包含的詞語的出現次數,在剔除無意義的高頻連接詞之后,對文本進行了語義網絡分析。

(戳大圖閱讀更清晰)

在這個過程中,我們發現了一些有意思的結論。舉例來說,大師評論,除了包含對書的理解與本身故事情節、人物塑造的深度評價外,更多的是對人生與社會兩大主題的思考,比如生命、愛情、歲月、內心,比如國家發展、經濟、市場、企業發展等。這一方面體現了讀者內心的訴求與關注點,另一方面也向我們展示了受歡迎的書籍的題材內容與標準。原創男頻和原創女頻也呈現出一些截然不同的特點:女頻讀者更喜歡古裝、穿越、言情和校園的題材,也更關注電視劇、韓劇,因此評論中這些字眼出現在五星級評論中的概率也更高;而男頻讀者則非常反感出軌、離婚的題材與內容,這些字眼是三星及以下的高頻閃現詞。此外,我們在三星及以下評論中還發現,讀者除了反饋內容本身的問題,比如錯別字、翻譯不好、文筆差、爛尾等,還會反饋平臺和功能上的一些問題,比如章節付費、排版、圖片不清晰等。

最后,我們利用詞云對每個版塊和分析維度下出現的頻率較高的“關鍵詞”進行視覺上的凸顯,突出了我們的主要結論。

針對詞頻統計以及語義網絡分析的結論,一方面,用戶的評論反饋驗證了產品目前版本在一些功能模塊上存在的不足,為產品提出了改進和優化的方向;另一方面,從用戶的評論中也可以挖掘出讀者對作品最重視的幾個關鍵指標維度,對產品重新設計評論區的標簽與評分體系提出了建議;同時也為產品如何引導與改善用戶書評,以營造更好的移動閱讀社區氛圍提供了思路。

綜上所述,評論區研究雖然是一個以文本內容分析為主的研究,但是在數據量龐大的情況下,我們不能忽略掉量化處理和反饋結果的客觀性與準確性。這也正是詞頻、詞云、語義網絡相對人工/客服統計結果更加明晰,更能從整體上反映問題與主題聯系的優勢所在。

 

作者:田敏,一枚對心理學有濃厚興趣的經濟學人,熱愛思考,喜歡探究,目前主要跟進網易閱讀和漫畫產品的用戶研究工作。

本文作者@田敏,由@用鹽有點咸(微信公眾號:用鹽有點咸) 授權發布,未經許可,禁止轉載

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 請問那個詞云的圖片是怎么做的呢?詞云上面沒有這種模板呀~感謝告知

    來自美國 回復
  2. 一看就是一個細膩的女孩紙寫的,很喜歡“用研有點咸”的文章,很細膩,很易懂,而且也有深度。

    來自浙江 回復