用戶日志法:持續(xù)研究更真實用戶體驗
大多數(shù)的產(chǎn)品體驗研究方法都是衡量了當時當刻的用戶體驗,但是無法體現(xiàn)一段周期的用戶體驗,具有一定的局限性。而用戶日志,就是一個可持續(xù)研究的方法。
深度訪談、焦點小組、問卷法、可用性測試……這些耳熟能詳?shù)姆椒?,大家都不陌生,即使沒用過但應(yīng)該都聽過。
沒錯,這些研究方法可以了解用戶對產(chǎn)品的直接體驗,但可能僅是此刻的體驗,就像是曲線上的一個點。這當然是有價值的,但如果我們能了解到用戶從產(chǎn)品小白變成產(chǎn)品專家的成長曲線,就可以更好預(yù)測用戶在不同階段想要什么,有助于設(shè)計出完整的體驗方式。
因此,我們需要用一些有助于了解用戶的行為和態(tài)度是如何隨時間變化的方法,這就是可持續(xù)研究的方法。
你可以說,這很簡單嘛,我們可以做縱向研究:一次性招募一些用戶,定期邀請他們,并觀察他們的使用行為和態(tài)度如何變化。
但是,我們不能忽視學習效應(yīng)。如果在這種縱向研究中,我們重復(fù)用那些常見的方法,比如可用性測試、焦點小組、問卷等等,而且還是對相同的人去使用,那么研究過程會失去客觀性,研究結(jié)果也會失去有效性。
這里給大家分享一種適合做持續(xù)研究的方法:用戶日志法,也可以叫做日記研究(diary study)、日記調(diào)查法(The diary survey method),有些公司稱這種方法為留置研究。叫什么不重要,關(guān)鍵是這種方法能了解產(chǎn)品對人們體驗的長期效果,以及體驗如何隨時間變化。
什么是用戶日志法
用戶日志法,顧名思義,要求一組人通過寫日記的方式,按時記錄他們使用產(chǎn)品的活動,而我們來研究這些記錄。
日記可以跟蹤用戶在使用產(chǎn)品過程中犯了哪些錯誤,吸取了哪些經(jīng)驗教訓,學會了什么,他們經(jīng)常如何使用產(chǎn)品等等;也可以讓用戶記錄我們感興趣的、希望讓用戶去記錄的東西,甚至還可以通過記錄用戶周圍的地點和人群,讓我們對他們的生活有一個大體的了解。
然后我們對日記進行編碼并分析,即使是很少的日記樣本,也能幫助我們發(fā)現(xiàn)其他方法難以發(fā)現(xiàn)的問題。
而且日記研究最適合用于產(chǎn)品的全功能分析,這是其他受時間限制的單次研究無法做到的,比如1小時的可用性測試或者訪談,我們無法涉及產(chǎn)品的方方面面。
用戶日志法的優(yōu)點
1. 參與的用戶不受地理限制
我們可以根據(jù)用戶的地理分布來安排各地樣本數(shù),無論你的用戶分布在全國、還是全世界,都可以參與。
這樣就可以進行國際化研究,了解文化和地理差異會如何影響人們對產(chǎn)品的體驗。
2. 記錄用戶在一段時間內(nèi)的體驗變化過程,模擬/還原真實的產(chǎn)品體驗過程
畢竟很多在實驗室/辦公室進行的研究,只能研究此刻的用戶體驗,并且無法保障用戶的表現(xiàn)是否受到了人為環(huán)境的影響。
3. 對樣本數(shù)量的要求不高
至少保證有6名樣本參與(和其他定性研究對樣本的要求一樣)。
4. 對持續(xù)時間的要求也不高
如果是每天都要使用的產(chǎn)品,一周時間就足以發(fā)現(xiàn)用戶的使用變化。
當然,如果產(chǎn)品是每周使用一次的頻率,大概需要2個月的記錄時間才能度量變化。
5. 對研究者的人數(shù)要求不高
一位研究人員,一般可以同時管理好5~10名參加者,包括每天和他們溝通進行跟進,了解并解決他們遇到的問題,鼓勵他們持續(xù)記日記不要放棄,有時候要根據(jù)他們的反饋調(diào)整日記結(jié)構(gòu)。
6. 記錄內(nèi)容更真實、更細致
當面的溝通可能會使用戶有所保留,尤其是在付費調(diào)研的項目中。而寫日記的方式,用戶更容易真實地描述自己的生活狀態(tài)、對某個事情的態(tài)度,與日記的對話有時候會比當面表述更加生動且細致(寫過日記的人能體會)。
7. 用戶又更充裕的體驗時間
在一周或者更長一些的時間內(nèi),對于我們設(shè)定的體驗任務(wù),用戶有更充裕的體驗時間;這樣的真實環(huán)境可能要比在實驗室/辦公室匆忙地進行體驗要好。
用戶日志法的兩種主要類型
正如訪談可以分為結(jié)構(gòu)化訪談與非結(jié)構(gòu)化訪談兩種,日志研究也有用戶自驅(qū)的非結(jié)構(gòu)化日記,和研究者制定好的結(jié)構(gòu)化日記。
有什么區(qū)別呢?
用戶自驅(qū)的非結(jié)構(gòu)化日記
也就是用戶想寫啥寫啥,我們會建議希望其填寫什么,但不會強行規(guī)定什么不能寫;可以是產(chǎn)品的日常體驗,可以是使用產(chǎn)品時遇到的問題,也可以是自己今天的心情、和家人朋友的相處、居住的環(huán)境、工作的氛圍等等。
對于非結(jié)構(gòu)化日記,指導(dǎo)說明的文檔就顯得非常重要。指導(dǎo)文檔要具體、簡潔并且完整。
除了鼓勵積極參與、持續(xù)記錄外,還要具備以下重要信息:
- 讓參與者知道,他們提交的內(nèi)容,并不是用來測試他們的智商或者能力;要測試的是產(chǎn)品,他們有責任告訴我們產(chǎn)品的失敗之處。
- 鼓勵參與者描述細節(jié),想寫多少都可以,但我們想看到盡可能多的細節(jié)。
- 日記內(nèi)容盡可能與體驗相關(guān),正面負面、大小都可以,我們對所有體驗都感興趣。
- 如果使用不到一些功能,也沒關(guān)系,請詳細描述這種情況。
- 如果不確定某些內(nèi)容是否可以在日記中填寫,也請把這些內(nèi)容放到日記中。
- 提供研究者的聯(lián)系方式。
指導(dǎo)發(fā)出后,還要和參與者電話溝通,以便能說明清楚更多細節(jié)的注意事項。
結(jié)構(gòu)化日記
為日記提前設(shè)計好記錄的結(jié)構(gòu)與方式,可以避免出現(xiàn)大量我們不關(guān)心的信息,這樣的方式可以給參與者明確的記錄指南,幫忙他們不跑偏。
結(jié)構(gòu)化日記可以分為三種:調(diào)查日記、可用性日記、問題報告日記。
1)調(diào)查日記
提出一系列問題,參與者通過回答這些問題來完成每次日記的填寫,這種結(jié)構(gòu)性日記很像問卷調(diào)研。
每次的日記可以設(shè)置不同的題目,關(guān)注產(chǎn)品的不同方面;有些問題也可以重復(fù),這樣就能度量參與者的體驗如何產(chǎn)生變化。
可以設(shè)置開放式問題,給參與者提供更加深入描述體驗的機會。
調(diào)查日記非常適用于像游戲這樣有成長屬性的產(chǎn)品,每次的日記會隨著游戲進度的深入、級別的提升而要回答不同的體驗問題。
2)可用性日記
請參與者根據(jù)日記,每次執(zhí)行特定的任務(wù),或者讓他們看特定的內(nèi)容,請他們評估不同的模塊,并描述使用情況。
這很像遠程可用性測試,如果要研究指定的某個模塊、功能的使用體驗是如何隨時間變化的,這種結(jié)構(gòu)性日記是最適合不過的了。
3)問題報告日記
就像是一份隨時進行問題反饋的表格,參與者無論什么時候有了問題或者見解,就可以進行填寫。
這種日記的填寫難度最低,還能找到產(chǎn)品上最大的痛點。這類問題報告日記的研究,可以在整個產(chǎn)品周期中不斷進行,我們可以用文檔形式記錄用戶碰到的問題。
雖然看起來這個方法是最沒有含金量的,但是這種日記很容易大規(guī)模開展,從而提高總反饋率。
小結(jié)
無論是采用哪種日記結(jié)構(gòu)和形式,哪怕項目已經(jīng)在進行中,也要不斷評估日記的記錄形式有沒有用,參與者是否能理解,是否能引導(dǎo)參與者記錄你所關(guān)注的緯度。
如果通過及時的回收,發(fā)現(xiàn)參與者的記錄沒有符合我們想要的方式,那就需要找出問題,及時調(diào)整,更新日記形式。
如何分析日記
首先,一收到日記就應(yīng)該馬上開始仔細閱讀,既要比較不同參與者之間的差異,也要分析同一參與者的變化趨勢,建立假設(shè)。
然后,就是編碼與分析,方式類似焦點小組或者多位樣本的深度訪談,這里略。
最后,需要結(jié)合焦點小組或者訪談進行深入洞察,更詳細的了解體驗記錄背后的實際情況。
日志研究項目執(zhí)行的關(guān)鍵因素
1)參與用戶的招募
要招募有責任心、表達能力強的參與者;
選擇一些候補參與者。
2)制作日記材料
讓日記材料看起來專業(yè)、吸引人;
設(shè)計并提供一些小貼紙或者其他的道具,使日記的記錄具有趣味性。
3)預(yù)測試很重要
提前找一些用戶進行預(yù)測試,發(fā)現(xiàn)問題及時完善;
注意完成一次日記所需要的時間,一般為20分鐘,避免超過30分鐘。
4)持續(xù)關(guān)注參與者
在日志研究項目的進行中,研究人員需要每天和參與者保持聯(lián)系,不能放任參與者自己玩。
研究人員要能持久維持參與者的積極性,還要及時捕捉參與者認為不必要報告的問題,從而進行日記結(jié)構(gòu)的調(diào)整。
5)獎勵機制
獎勵要和參與者完成日記記錄所花費的時間能夠匹配。
一方面是總體獎勵,比如每次記日記需要30分鐘,一周7次日記需要3.5個小時。按照國內(nèi)一般的調(diào)研費用200元/小時計算的話,一周的日記項目需要至少支付單名用戶700元。如果是國外的用戶,則調(diào)研費用需要按照當?shù)貥藴寿M率分開計算,比如10年前我參加的一項美國項目,調(diào)研費用已經(jīng)是60美元/小時/人。
另一方面,日志研究項目最大的風險是參與者會中途退出。除了總體獎勵會影響參與者的退出率以外,過程中是否能時不時為參與者提供一些小驚喜,也對提高任務(wù)完成率有較大的幫助。
6)時刻提醒
彌補非面對面研究裂縫的一個重要方法,就是時刻提醒。日志研究不是當面進行,主要得依靠時刻提醒。因為這項研究主要依賴于參與者的自覺性,他們很容易不夠重視日志的持續(xù)記錄。
所以,我們要時刻提醒他們的完整參與對產(chǎn)品的重要性,告訴參與者,你一直在等他還沒有提交的日記,他的日記對公司非常重要。
但切記,不要每天發(fā)好幾次類似“請保持良好的日志填寫狀態(tài)喔~“這種垃圾信息。
7)收發(fā)日志
如果是紙質(zhì)的日記本,需要讓用戶把文件寄回,快遞費可以到付;如果是語音的日記,或者一些在線文檔的話,則回收會更方便,如微信群/QQ群/論壇/問卷系統(tǒng)/郵件/石墨等。
8)安排后續(xù)訪談
回收日志后的第一周內(nèi),趁著參與者腦海中日志記錄的事件仍然記憶猶新時,及時安排后續(xù)的訪談。
好了,關(guān)于用戶日志這種研究方法,就和大家分享到這里。實際項目中有任何不解的地方,歡迎找我討論。
作者:媛媛大王(微信公眾號:用戶研究社?),資深用戶研究員
本文由 @媛媛大王 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Pexels ,基于 CC0 協(xié)議
這個調(diào)研周期感覺挺長的