GPT協助海外用戶輿情分析實例
在全球化市場中,用戶反饋是產品和服務優化的重要依據。對于像Coohom這樣的家居設計和3D渲染技術公司來說,海外用戶的反饋尤為重要。然而,面對不同文化背景下的海量評論,如何高效地進行分析成為一大挑戰。本文將介紹如何利用ChatGPT等人工智能工具,快速解析海外用戶評論,提煉出核心洞察,為產品優化和市場拓展提供數據支持和戰略參考。
在全球化市場中,用戶的聲音往往是產品和服務優化的重要指引。對于以家居設計和3D渲染技術為核心的Coohom來說,海外客戶的反饋更是理解多元化需求、提升用戶體驗的關鍵。然而,面對來自不同文化、語言背景的海量評論,如何高效地進行調研和分析,成為了Coohom面臨的重要挑戰。
幸運的是,像ChatGPT這樣的人工智能工具,憑借其強大的自然語言處理能力,能夠幫助團隊快速定性解析評論內容,提煉出核心洞察,為產品優化和市場拓展提供數據支持和戰略參考。這項技術不僅提升了調研效率,更為Coohom的全球化發展注入了創新動力。
一、如何獲取海外用戶評論 – SaaS平臺評論的獲取
國外主流的SaaS平臺軟件測評主要有四個:G2, Capterra, Trustpilot, Software Advice。在這些基礎上,還有一些社交媒體中的評論可以瀏覽,如Facebook,Youtube評論,Reddit,Instagram等。
然而,就信息量而言,社交媒體上的信息有的時候只是隨意抒發的言論,存在信息量少,信息嘈雜的特點。因此,如果想要系統的爬取分析,最好從上述提到的四個專業網站上進行獲取。
這幾個網站,通常會要求用戶對對應軟件進行評分,對軟件撰寫長評,并且對軟件的優缺點進行分析。因此,查找這些網站的數據時,不但可以獲取評論,還可以收集多名用戶對于軟件的評分,獲取多維度的分析。
在本次對于Coohom海外用戶評論的調研中,筆者對Trustpilot和Software Advice兩個網站的評論內容進行了爬取和分析,運用了Octparse這款非代碼用戶友好的軟件。之所以選擇這兩個網站,是因為G2與Capterra有反爬蟲機制,運用Octparse無法從上面提取內容。因此,只爬取了上述兩個網站。
*Trustpolite – Coohom評分和評論
*Software Advice – Coohom評分,評論,和優缺點分析
*Octparse – 網站評論爬取界面
Octparse爬取輸出的內容,為包含用戶信息,評論時間點,評論網址,評論內容等的excel表格。爬取時,由于代碼的重復獲取的因素,會有大量的depulicated評論。對于這部分評論的處理方式有兩種:
- Octparse有自動去重復評論的機制,因此可以要求其自動去除。
- 但在自動去除時,有些評論可能會識別錯誤或者讀取不靈,所以請務必瀏覽一下。可以將Octparse提取出來的評論部分單獨復制進一個新的excel表格中,靈活運用excel的內置功能查找重復項,然后進行處理。
與此同時,還有一點需要注意,由于海外文化對于隱私保護及其敏感,因此,最好將原文件的評論部分單獨復制出來進一個新的excel文件,再進行分析。與此同時,源文件的其他內容,最好銷毀,至少也是進行加密處理,以防隱私泄露。在處理數據時,尤其是海外數據,保護隱私這一習慣應當作為肌肉記憶來進行培養。
第一部分操作的產物,應當為一個或者幾個excel表格 – 每個表格包含且只包含了對應網站上爬取的評論內容。
二、評論的初步分析 – 利用ChatGPT進行主題獲取
在第一步評論獲取和去重完成之后,筆者獲得了387條有效評論。但該評論只是評論源文本,還未進行主題分類。這個時候第一步,是需要運用ChatGPT對原文本進行主題的粗提取。
*GPT現有的模型
圖示為GPT現有的3個模型:4o,o1和o1-mini。就這次分析的經驗來說,4o宛若一個智障,不但要多次返工還會瞎編,所以在不建議作為主力分析模型使用。o1和o1-mini的文字歸納和推理能力尚可,因此可以在進行評論主題分類的時候使用。
這兩者中,o1和o1-mini推理能力有所差別 – 就如名字所指示的那樣,o1-mini在長文本推理和歸納方面是o1的閹割版,并且文本處理條數也受限,因此,如果需要處理長評或者復雜文本,o1是首選,其次o1-mini。除非在實在沒有辦法的情況下,不要用4o,如果不得已要用,請務必校準其輸出結果。
但是考慮到大模型的資源受限(筆者的GPT賬號是個人會員版),其中o1以及o1-mini都是有限次數使用,因此,需要將4o,o1-mini和o1搭配著使用,其中o1在核心推理步驟才使用,其余時間都是使用4o和o1-mini。至于什么是核心推理步驟,下面會詳細說明。當然,如果后續人使用的是富裕的pro版,那就無腦o1,因為推理性能最好。
源數據到手,就是387條亂序評論。這時候需要進行主題的初步框定。筆者嘗試過將387條評論一次性輸入進GPT(o1模型)中進行分析,但是得到的結果是:文本量過大,無法處理。因此,只能采取分批次處理策略,一次性輸入20-30條,然后對這些評論進行主題分析,歸納出對應主題;然后再次輸入下20-30條,填充進現有主題,或者增添新主題,直到所有評論按批次處理完畢。
在前期主題提取的過程中使用的模式是o1 – 因為需要從無到有的創造主題,因此對于模型的推理能力要求更高;但是,當筆者發現主題飽和出現之后,果斷將模型切換為o1-mini – 因為這種情況下對于文字推理的能力要求出現降低,只需要在現有的主題框架下填充評論即可。
但是,由于o1-mini本身的推理能力限制,在該模型進行推理完輸出評論后,務必人工校準一下,因為mini偶爾會出現主題歸納不規范的情況。這時候,需要手動校準 – 錯誤概率不是很多,可能每40-50條評論,或者模棱兩可的評論會出現這樣的情況。
在主題提取的過程中,筆者從領導那里獲取了一個框架:需要區分正/負面評論。那在該大框架下,筆者又手動調校了一個二級框架,設定為:
正面評論(P)
主題一
主題二
主題…
負面評論(N)
主題一
主題二
主題…
在完成這一步之后,接下來是訓練人工智能。首先,就像筆者剛才所說的那樣,非關鍵步驟不要使用o1,因此,在這步,先使用4o – 開啟GPT一個新主題,第一個prompt,開始介紹背景:”我現在需要給Coohom這一設計工具進行用戶評論的定性分析。接下來,我會給你輸入一個框架,你理解一下輸出給我你的理解。如果和我要求的一致,我會給你輸入新的指令?!?/p>
這時候,GPT應該給你一個繼續指令的回復。下一步,就是將框架輸入給它,然后看它的理解。我輸入給它框架后,它的答復如下:
很幸運,它的回答基本與我想要的一致。那我現在告訴它:我現在會給你輸入評論,以20條為單位。這樣子,它會回答你準備開始接收。這個時候,就做好了AI定性分析環境的搭建。
這個時候開始主題分析。在這種情況下,需要將模型切換為o1,因為要開始復雜文字推理 – 進行主題提取和創建。于此同時,在復制評論的過程中也有一個小細節 – 從excel中直接復制過去的評論,是不帶句首序列點的。因此,GPT帶讀取的過程中,可能會出現語句混淆,然后影響分析精度。
因此,excel中復制評論過來,需要新開一個word處理一下,對每條評論進行手動標序,并且人工校準。這樣,GPT讀取的評論才是精準的,可以用來主題分析。
*未手動標號,直接從excel中復制粘貼的評論,會使得GPT的文本分析進行混淆
因此,在將20條評論進行手動標號之后,我會先給它做一點準備工作 – 將模型切換為4o, 輸入這20條評論,然后跟他同步:“這是我要你分析的評論,你先記住,我稍后會給你指令”。等它形成記憶之后,再切換為o1,輸入指令:”參考我最開始教會給你的框架,首先區分正面和負面評論,輸出結果我們對齊?!爱斀Y果輸出被分類為正面評論和負面評論后,再次使用o1輸入指令:”在你之前分析的基礎上,我需要在正面評論(P-category)和負面評論(N-category)下對評論進行子主題的提取。你分析這些評論,提取主題,然后將對應評論放在相應的主題下。不要分析單個詞語,要分析完整的句子上下文,然后打印這些完整的句子在主題下?!?/p>
這一步其實有三個要點:
- 與GPT對齊評論是為了使得它形成記憶,方便后續分析進行提取。
- 分步式的輸入指令:雖然我說o1推理能力相對較強,但是如果它在同一步的指令過多,它也會智障化,不是瞎編就是漏掉這個漏掉那個,徒增工作量。因此分步式的操作有利于提高精度。并且,當分步式的分析流程形成后,也可以push GPT打包這一部分操作過程,使得它形成AI版的定性分析SOP,后續只需對SOP包中的prompt進行微調即可。
- 如果不加下劃線那個要求,它默認會根據單個詞語或者詞組的意思進行主題分類,這與人工分析中讀取上下文的分析習慣不符,也容易造成錯誤。因此,這一部分指令要添加。
*GPT o1模型根據評論所形成的主題
當前一步完成之后,GPT中就應該有了由20條評論形成的粗主題框架。在進行下一步操作之前,可以將之前分步式操作形成的SOP創建一下??梢砸驡PT:我剛才給你展示的一個工作流程。接下來,我會再次給你輸入20條評論,你按照上面教你的方法,先對評論進行P/N categories 的分類,然后在把對應category下的評論放置在子評論的范圍內;如果出現新主題,創建新主題并放置評論。我要求你輸出P/N category下創建的主題,然后每條主題下打印出詳細的評論內容,并且index回原輸入的評論批次,標明是評論中的第幾條。如果你學會了,回答yes.
這么創建prompt有兩個原因:
- push GPT形成工作記憶SOP,之后就可以直接扔給它評論輸出結果
- 要求它打印出詳細的答案,適合分析完之后直接校驗。在定性分析時,AI對于上下文的讀取未必與我們理解的相同,故務必校驗,且GPT會瞎編,要小心。
*教會GPT新的工作流程后的產物
在用這流程的prompt進行每20條多輪迭代之后,窮盡所有評論,GPT應該會給你一組所有評論歸納出來,由P/N category分類后的主題。這時候,需要將主題copy進一個word文檔中再進行微調,因為有的時候GPT給你的主題可能沒有按照業務想要的邏輯進行拆分,那樣其實在針對性上會出現問題。這個時候,就需要與業務或者領導進行溝通,共同協助進行主題拆分。在本次調研中,拆分后的主題如下:
正面評價主題
- 渲染質量與速度:提供高質量渲染效果,速度快,滿足高效設計需求。
- 用戶友好性與易用性:界面直觀、操作簡單,適合新手和專業用戶,學習成本低。
- 素材與模型庫:提供豐富的3D模型和素材庫,支持定制與更新,節省設計時間。
- 工具功能豐富:提供多樣化設計工具,支持復雜建模和自定義設計需求。
- 模板豐富:提供多種設計模板,簡化創意設計流程,助力高效設計。
- 設計與創意支持:支持創新設計,提供可視化和優化設計呈現效果的功能。
- 價格與價值:提供高性價比的功能與訂閱選項,滿足個人與小型企業需求。
- 客戶支持與服務:良好的客戶服務與支持
負面評價主題
- 價格與訂閱策略問題:價格較高,訂閱續費機制不透明,部分功能需額外收費。
- 素材與模型庫問題:模型和素材不足,缺乏更新,導入導出兼容性差。
- 界面復雜:用戶界面設計不合理,操作不直觀,難以快速上手。
- 功能復雜:功能設置繁瑣,工具間過渡不流暢,操作步驟過多。
- 渲染速度慢:渲染時間過長,影響設計效率,尤其是在高分辨率或復雜項目中。
- 渲染效果失真:渲染結果與預期不符,出現色差、光影效果不自然等問題。
- 技術與性能問題:軟件運行緩慢、卡頓,渲染時出現延遲或錯誤,影響用戶體驗。
- 客戶支持與服務問題:客服響應慢,問題解決不及時,缺乏詳細操作指導和幫助資源。
在GPT的原版分析中,P category下“工具功能豐富”和“模板豐富”原本隸屬于一個主題下。但是領導根據對于業務的洞察力,要求筆者分為了兩個維度。同時,N category下的“界面復雜”和“功能復雜”原本也是同一個主題,同樣按照相同的邏輯進行了拆分。再進行主題微調并于領導溝通過之后,就可以開始最后一輪的定性分析,評論solidate了。
三、最后一輪定性分析
這一部分的起手勢,是先將模型調成4o,然后將方才調整過的主題輸入GPT:這是一組主題框架,你先記住,我稍后輸入指令。當4o回答記住之后,將模型調整為o1,輸入指令:我接下來會給你20條評論,你根據整句上下文,將相應評論放置在對應主題下。打印出每個主題下的詳細評論內容,以及每個主題的頻數,以及P/N category的總頻數。將詳細內容打印給我,我需要校對。然后輸入標好號的評論,GPT輸出結果將如下:
每20條評論校對完畢之后,建議創建一個word文檔保存輸出結果,因為GPT能力有限,當上下文過多,特別是在300多條評論的情況下,其上下文索引會出錯。因此,分階段保存,是預防這個風險的方法。后續如果需要統計頻數和百分比,手動計算即可。
當評論在新的主題下分類完畢之后,操作者應該就有了一個統計性文件:定性主題以及每個主題下的所有評論,以及相應的頻數。這個時候稍作整理,創建一個excel表格,可以將相關內容全部整理在上面。
四、精選評論
當每個主題下的評論全部整理完畢時,這個時候可以要求GPT進行評論的精選。對于頻數多的主題,可以精選10條; 頻數少的,可以精選五條或者更少。為了達到此步驟的目的,需要先切換模型為4o,輸入prompt: 我接下來要給你輸入一組評論,你先記住,我稍后會告訴你怎么操作。
然后,將模型切換為o1,輸入:從剛才的評論中精選出信息量最大的10條(信息量大的定義為評論者不但說出了渲染好,還說出了原因),每條索引到原評論的序號,然后打印出評論內容,選取原因和中文翻譯。這樣的prompt輸出的內容便于人工校準,如果不滿意,還可以另換。如果某個主題下評論內容過多(大于150條)GPT算力不夠的話,可以分批次處理精選,再優中選優,最后達到目標。GPT的輸出效果如下:
當所有主題的評論都跑完畢的時候,就可以輸出整體文件內容啦!
五、定性分析中寫GPT prompt的技巧
- 避免一次性輸入過多內容,分批次處理校準
- prompt的內容精確,標準化,比如規定處理要素和輸出內容等(避免只處理詞組,輸出完整內容)
- prompt忌一次性輸入太多要求,可以分步式要求GPT處理,確認其學會后,打包為SOP為下面分析做準備。
- 重要分析步驟記得備份,當GPT涉及的上下文過多時,其可能會混淆。
以上
作者:加錢;公眾號:群核科技用戶體驗設計
本文由 @群核科技用戶體驗設計 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
gpt本身就是大數據工具,能有良好的運用也不錯