我用ChatGPT做用研?
ChatGPT火出圈,各行各業紛紛在思考和實踐如何借助ChatGPT降本增效。用戶研究工作中涉及到大量知識獲取、文本總結、數據分析、價值洞察等工作,無疑也是ChatGPT發揮作用的場景之一。本文就ChatGPT在用戶研究場景中的作用做了初步探索,總體來看ChatGPT尚不能完全取代用戶研究員,但也展現出多種輔助用戶研究工作的潛力。
ChatGPT簡介
ChatGPT是OpenAI推出的自然語言對話機器人,在推出不到兩個月的時間里,月活就突破了一億。與之相比,TikTok和Instagram達到這一成績分別用時九個月和兩年半。在業界,微軟于2月初火速上線整合ChatGPT的Bing搜索,還計劃將其整合進Office全家桶,在落地應用上大踏步前進。與此同時,谷歌也緊急上線競品Bard,正面硬剛(雖然首秀翻車,給出錯誤答案,導致股價大跌)。此外,百度、阿里等國內科技企業也紛紛開始類ChatGPT的開發和內測。
對于ChatGPT是什么,相信大家已經有所了解,這里就偷懶讓ChatGPT親自答一下(圖 1)。相比于之前的聊天機器人,ChatGPT在語言理解、表達等方面都有非常驚艷的表現,而這離不開其背后強大的技術,《一篇不是很枯燥的ChatGPT閑談》對ChatGPT的技術做了非常詳實的介紹,這里就不再多說。
圖 1 ChatGPT自我介紹
ChatGPT的這些能力在整合搜索結果、寫代碼、Debug、寫文章等應用場景中表現亮眼。但同時也存在不少局限,比如數學能力低、回復啰嗦等。此外ChatGPT雖然可以拒絕回答違法違規(比如如何偷東西等)、超出能力范圍(比如預測大賽冠軍等)的問題,但目前其實是可以通過“我們來玩角色扮演的游戲吧”的方式繞過去。
比如“賽博算卦”~~首先直接讓ChatGPT算卦會被無情拒絕(圖 2),ChatGPT說作為一個AI模型,它無法推算八字排盤和流年運勢。但換一種思路,我們可以和ChatGPT“商量”玩算命先生的游戲,讓ChatGPT扮演算命先生,我們來扮演顧客,從而獲得回答(圖 3),雖然我不懂算卦,但答案看上去還是很專業的。
圖 2 ChatGPT拒絕算卦
圖 3 和ChatGPT玩算命先生的游戲(參考自https://www.zhihu.com/question/570729170/answer/2794969678)
ChatGPT能替代用戶研究嗎?
雖然還存在著這樣那樣的局限性,但ChatGPT所顯現出的巨大應用潛力使得關于ChatGPT可以取代哪些職業的討論成為當下的熱門話題。不禁讓從事用戶研究工作的我好奇:ChatGPT能夠給用戶研究帶來什么樣的改變?會讓用戶研究員失業嗎?
懷著這樣的想法,我試著使用ChatGPT對數字藏品的價值進行用戶調研,包括案頭分析、研究設計、訪談執行和分析、問卷設計和分析以及報告撰寫等主要研究環節。從初步的探索來看,當前ChatGPT顯然不能完全取代用戶研究員的工作,但是在以下四個方面已經展現出其作為輔助工具,為用戶研究降本增效的潛力:
- 高效整合內容的搜索引擎:提升在理解需求和概念、獲得HowTo答案(尤其是程序相關)等方面的效率;
- 能力多樣的“配菜員”:提供初步的研究框架、訪談提綱等,針對訪談記錄、數據結果總結關鍵信息等,輔助研究員在此基礎上修改提升;
- 提升內容表達的潤色工具:根據需求轉換成不同風格的表達、識別錯別字等,但當前英文比中文的潤色效果更好;
- 用戶訪談降本增效的“模擬器”:通過讓ChatGPT扮演主持人訪談用戶,或者扮演典型用戶接受訪談,提升用戶訪談的效率。
讓我們依次看下ChatGPT在這些方面的具體表現:
一、高效整合內容的搜索引擎
和傳統搜索提供多個相關結果不同,ChatGPT能夠根據多個搜索結果,提供整合后的內容。這種高效整合內容的能力可以幫助用戶研究員在需求理解、案頭研究、數據分析等環節更快速地獲得高價值(如相關性高、總結性強、廢話少等)的知識性內容。
比如針對“數字藏品的核心價值”的研究問題,在需求理解、案頭研究階段,通過詢問“什么是數字藏品”(圖 4),ChatGPT用清晰有條理的內容介紹了數字藏品的概念、技術特點等。還可以通過進一步追問,得到如ChatGPT對數字藏品的價值(圖 5)、具體的藝術價值(圖 6)、相關研究資源推薦(圖 7)等更為詳實的回答,這些內容確實可以幫助我們更快速地加深對研究主題的理解,輔助和啟發研究方案設計等。
圖 4 數字藏品概念釋義
圖 5 數字藏品有哪些價值
圖 6 追問數字藏品的藝術價值
圖 7 推薦相關研究資源
但在此過程中,特別需要我們提高警惕,注意對ChatGPT答案的真實性和準確性進行判斷、交叉驗證等。這是因為ChatGPT會很“自信地”輸出一番胡扯的內容(圖 8),如果缺乏相關背景知識的話,就很容易被誤導。此外ChatGPT無法提供生成答案所依據的特定參考文獻(圖 9),也提升了對內容交叉驗證的難度。
圖 8 對某數字藏品平臺的一番胡扯
圖 9 ChatGPT無法提供答案的參考文獻
除了可以提供研究主題相關的知識外,ChatGPT也可以在數據分析等階段對數據分析的方法、實現代碼提供直接的指導,比如“如何使用Excel計算平均值、TGI指數”(圖 10),ChatGPT就給出了公式和操作步驟,研究員照著答案操作即可。但目前ChatGPT對常用的數據分析軟件SPSS的支持效果有限,比如“根據變量A的選項生成新的變量B”的SPSS語句(圖 11)就是錯誤的,猜測和ChatGPT訓練數據集中SPSS相關知識內容較少有關。
圖10 ChatGPT對使用Excel計算平均值、TGI指數的指導
圖 11 針對SPSS語句實現,ChatGPT給出錯誤答案
但總的來說,作為高效整合內容的搜索引擎,ChatGPT可以幫助研究員快速地了解相關的研究主題,輔助和啟發研究方案設計等,也能提供數據分析方法的指導。但在此過程中,需要研究員特別注意ChatGPT答案的真實性、準確性,且目前對SPSS的支持不如Python、Excel的效果好。
二、能力多樣的“配菜員”
ChatGPT在用戶研究工作中,第二個可能的應用是作為能力多樣的“配菜員”,從訪談逐字稿、問卷數據中提煉關鍵信息,或者根據研究員的訴求提供諸如方案設計、問卷大綱等多種建議,提高研究員分析數據獲得洞察、撰寫訪談提綱或者問卷等任務的效率。
在這一部分,讓我印象最為深刻的是ChatGPT分析總結原始數據的能力,比如我根據真實用戶的訪談記錄改編出以下三個用戶對使用過的數字藏品平臺的評價:
用戶1:“我玩的跟他差不多,也就兩個,一個平臺A一個平臺B,像那種官方發出來的那種在自己那里抽獎的那些我也會看,但是像那種野牌子我一般是不會去玩,那種野牌子感覺沒有什么大公司,我怕我買完收藏了,他就什么都沒了,這種就不會錯的。然后區別其實我主要是看文物的,別的我其實看的少,我感覺也沒啥區別?!?/p>
用戶2:“首先第一個最大區別就是因為國內的數字藏品發售的話都是以公司為主題,但是國外的首先他只是在中介平臺上傳自己的圖片,然后進行發布,這其實是國內外最大的一個區別,然后國內的區別的話,第一個我覺得是公司可信度不同,就比如說在平臺B上面買的話我完全不用擔心這個數字藏品會不見了,然后還有就是小公司的話就是像他說的會非常容易怕跑路,我收藏的東西就不見了,然后每個平臺的話其實他會有錨定的點,就是我發售的藏品的主題內容會有什么不同,有一些他會發售類似說什么古代人物這種,有一些像平臺B這種的話就是主做博物館里面的藏品什么的,還有類似我剛才說的明星那種,就每個做的內容他會不同,大概就這些?!?/p>
用戶3:“我主要玩的話就是平臺C和平臺D,他們不同的話那個平臺D大部分都是古風還有文物之類的,然后平臺C很多衍生的吧,就改的比較厲害的,很多二創的那種,然后他發行的東西也就不一樣,就經常很多種類嘛,買的就比較多了,平臺D就要少一點,他那個發行時間要慢一點,東西就少一點,可以選擇就少一點。”
然后讓ChatGPT從中總結出和數字藏品平臺有關的關鍵信息(圖 12)。我們看到ChatGPT總結的質量已經比較高了,基本上覆蓋了用戶提到的關鍵點,比如平臺可信度很重要、不同平臺的內容存在差異等。
雖然ChatGPT的總結還僅限于原文觀點的提煉,而不能進行更多的關聯分析(比如從第一點平臺可信度可以得出用戶需要平臺背書來確保數字藏品的安全,但基于區塊鏈的數字藏品在技術上本身就具有永久有效、公開透明的特性,造成這種差異的原因可能是現實中數字藏品依然依托于中心化平臺的運營,也可能是用戶對數字藏品的技術特性缺乏認同等),但已經可以很好地作為進一步提煉洞察的材料了。
圖 12 ChatGPT總結出的與數字藏品相關的關鍵信息
除了總結訪談記錄,ChatGPT也能從問卷數據中得出關鍵信息,比如表 1是兩種數字藏品用戶類型在選購數字藏品時,會主要考慮哪些因素的統計數據(非真實數據):
表 1 收藏用戶和投資用戶選購數字藏品時主要考慮的因素(非真實數據)
我們可以讓ChatGPT分析兩種類型用戶在選購因素上的差異(圖 13),甚至可以直接讓ChatGPT根據選購因素得出如何設計數字藏品的建議(圖 14)??梢钥吹剑驮L談記錄總結類似,ChatGPT能夠針對統計數據得出初步分析結果(比如兩種用戶更看重的選購因素),但需要研究員在此基礎上做更深度的洞察提煉。
圖 13 對比兩種用戶在選購因素上的異同
圖 14 根據選購因素得出數字藏品設計的建議
此外,ChatGPT還可以針對研究方案(圖 15和圖 16)、訪談提綱(圖 17和圖 18)、訪談中追問(圖 19)、問卷設計(圖 20)、數據可視化(圖 21)等提供初步建議,這些建議的質量參差不齊,總體來看離真正可用的方案、提綱等尚有不小的距離(比如問卷題目和選項過于簡單、數據可視化建議效果不佳等),但已經可以用來啟發研究員在此基礎上修改完善。
圖 15 ChatGPT撰寫研究計劃
圖 16 追問研究對象如何分組
圖 17 撰寫深度訪談大綱
圖 18 根據訪談提綱追問具體的訪談問題
圖 19 訪談中追問什么問題
圖 20 撰寫問卷題目和選項
圖 21 數據可視化建議
總的來看,ChatGPT在用戶研究的多個環節中均有著扮演“配菜員”的潛力,如分析訪談記錄、問卷數據,總結其中的關鍵信息,或者就研究方案、訪談提綱、問卷題目等提供建議。從目前的效果來看,ChatGPT的答案并不是真正可用的方案、提綱、問卷、洞察等,但確實可以提高如總結訪談記錄、分析問卷數據的效率,為研究員進一步分析,得出更高價值的洞察提供了豐富的原材料。
三、提升內容表達的潤色工具
ChatGPT修改文案的能力在用戶研究工作中也有用武之地,比如修改問卷題目、報告內容中的錯別字。如圖 22所示,ChatGPT成功識別并修改了“參于”、“資質”、“隆資”這幾處錯別字,并在“甚至”前添加了逗號提升表達準確性。其修改效果還是比較驚艷的。
圖 22 錯別字修改
此外相信有不少研究員在撰寫英文報告時,擔心自己寫出的句子比較生硬、詞不達意。在這方面,ChatGPT可以很好地幫助我們提升英文報告的表達,比如使用更精準更地道的詞匯、更符合英語母語的表達習慣等。
要實現這一點的話,需要用到ChatGPT更“高端“的玩法,即通過適當的提示語(Prompt)讓ChatGPT扮演特定風格的英文翻譯,將輸入的內容在不改變其意思的情況下,翻譯成更優美高端的英文(當然也可以嘗試其他風格,比如更concise等):
I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English. I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary. I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高興認識你”
圖 23展示的就是“數字藏品交易的投機炒作氛圍濃厚,買家會面臨如莊家控盤、平臺跑路、內容侵權、無人接盤等風險”這句話的英文翻譯結果,和直接翻譯的結果對比(圖 24),確實效果更好一些。
圖 23 翻譯并提升英文表達
圖 24 直接翻譯成英文
總的來說,ChatGPT在修改錯別字、提高英文表達方面均有不錯的表現,確實可以幫助我們更高效的潤色輸出的內容,比如訪談提綱、問卷題目、洞察報告等。
四、用戶訪談降本增效的“模擬器”
在作為潤色工具的部分,我們分享了ChatGPT的“高端”玩法,即使用Prompt將其“調教”成特定風格的英文翻譯。這種玩法可以使ChatGPT扮演各種各樣的角色,比如心理咨詢師、面試官、體育評論員等等(在此推薦一個相關Prompt的GitHub倉:https://github.com/f/awesome-chatgpt-prompts ),讓ChatGPT的應用場景擴展了不少。
回到用戶研究,很自然地就會想到:讓ChatGPT扮演主持人的角色,訪談用戶的效果如何,能不能自動化訪談?或者反過來,讓ChatGPT扮演某類典型用戶接受訪談,它的回答和真實用戶的回答相差多少?能不能作為典型用戶的初步洞察?
我們先來看下ChatGPT扮演主持人訪談用戶的效果(圖 25),這里我讓ChatGPT扮演成一位訪談主持人,目的是通過詢問用戶問題來弄清楚“數字藏品(NFT)的核心用戶價值是什么”,相應的Prompt是:
I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer. Do not write all the conservation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations. Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”
我們看到ChatGPT的表現還是比較驚艷的,它沒有直接詢問“你覺得數字藏品有哪些核心價值?”,而是從如何理解數字藏品這個概念入手,詢問了一系列相關問題,比如如何知道數字藏品、如何在日常生活中使用數字藏品、數字藏品最大的好處等等。雖然在這個case中,ChatGPT并沒有能夠結合上下文來追問用戶,但當前的表現已經足以讓我們思考ChatGPT是不是能夠代替我們自動訪談用戶,就一些簡單的、結構清晰的研究問題提供訪談洞察。
圖 25 ChatGPT扮演主持人訪談用戶
看完ChatGPT扮演主持人的效果,讓我們繼續看下它扮演某類典型用戶接受訪談的表現(圖 26)。首先通過以下Prompt讓ChatGPT扮演一位年輕的數字藏品用戶:“她”是一位20歲的在校大學生,愛好廣泛比如聚會、看電影、逛街等等。然后就可以通過詢問數字藏品相關的問題來挖掘“她”對數字藏品的看法。
I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc. I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conservation at once. Wait for my questions and give me answers. Do not write explanations. My first sentence is “Hi”
圖 26 ChatGPT扮演典型用戶接受訪談
總體來看,ChatGPT的表現持續驚艷,比如詢問“她”是如何知道數字藏品的,“她”給出的回答是“玩數字藏品的好友分享給她的”。當重復“她”覺得NFT很cool的看法后,“她”回答到“數字藏品改變了我們對數字世界所有權和價值的看法”等。這些回答從主觀感受上看確實很貼近我們訪談到實際用戶。
所以展開想象力,這會不會改變今后用戶研究的流程?比如在訪談真實用戶前,能不能先讓ChatGPT扮演幾種典型用戶來獲得初步洞察,之后再進行真實用戶訪談以驗證和補充?當然在此之前還有很多的問題要回答,比如如何使用Prompt更準確地描述典型用戶(如需要哪些變量?),ChatGPT扮演典型用戶的準確性和有效性有多高等等。但無疑ChatGPT的表現已經足以讓我們開始類似的思考。
五、總結
總結一下,通過上述初步的探索,我會覺得ChatGPT在未來的用戶研究工作中,可能成為降本增效的輔助工具:作為高效的搜索引擎,提升獲取知識的效率;也可以作為能力多樣的“配菜員”,提供諸如訪談初步總結、數據分析結果、訪談大綱等內容,輔助研究員完成研究設計、洞察分析等;還能作為內容(尤其是英文內容)的潤色工具,修改錯別字、轉換不同表達風格等;最后也顯示了其作為主持人執行訪談或者扮演典型用戶接受訪談的潛力。
當然ChatGPT距離真正可用的用戶研究輔助工具還有一段距離,比如需要用戶研究領域的知識對模型進行Fine-tune以提升答案質量,再比如需要定制化的交互方式,以提升在用戶研究工作中,與ChatGPT交互的體驗和效率等等。
此外,對于有興趣繼續探索ChatGPT應用的同學,分享三個Tips:
- 多試幾次,以比較不同的回答;
- 學會提問,明確需求,由粗到細引導,并且注意之前輸入內容的影響;
- 保持獨立思考和批判性思維,時刻警惕內容的真實性、準確性,避免被ChatGPT牽著鼻子走。
最后,對于 ChatGPT能否替代用戶研究,我認同:“AI will not replace you. A person using AI will.
作者:qichengding
來源公眾號:騰訊CDC體驗設計(ID:tx_cdc),構建數字時代互聯網生態的用戶價值與體驗創新
本文由人人都是產品經理合作媒體 @CDC 授權發布,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
未來五年內用研團隊會大幅縮減,原來一個人跟一個項目,有了GPT一個人可以跟三個