海外產(chǎn)品用戶研究如何有效的進(jìn)行:可用性測試篇
海外產(chǎn)品可用性測試是國際業(yè)務(wù)部門設(shè)計師/產(chǎn)品經(jīng)理經(jīng)常會進(jìn)行的工作。相比國內(nèi)產(chǎn)品,進(jìn)行國際產(chǎn)品的可用性測試有哪些不同?海外產(chǎn)品測試過程中的坑應(yīng)當(dāng)如何避免?如何做才能提高有效性?本文針對這些問題從前期測試準(zhǔn)備、中期測試執(zhí)行、后期報告產(chǎn)出三個方面進(jìn)行了梳理和總結(jié),希望可以給相關(guān)同學(xué)一些啟示和參考。
1. 前期測試準(zhǔn)備
海外產(chǎn)品的目標(biāo)用戶是local當(dāng)?shù)氐娜巳?,即便國?nèi)用戶特征也可以說明一些問題,但是要想真正了解到local市場用戶的使用習(xí)慣,就必須要進(jìn)行l(wèi)ocal實地的測試。山高路遠(yuǎn),時空阻隔,每次測試的成本和難度比在國內(nèi)大很多,所以做足前期的準(zhǔn)備顯得尤為重要。
前期準(zhǔn)備包括以下幾個方面:
1.1 平衡目標(biāo)
通常可用性測試就只針對用戶的使用體驗問題,成本相對可控。而海外可用性測試的特殊性在于在于測試成本可能是倍數(shù)級的提高,所以除了做可用性測試主任務(wù)外,通常會同步安排一些輔助任務(wù)。
以本次VOOV泰國用戶可用性測試為例,主要目標(biāo)為根據(jù)可用性測試,驗證VOOV2.0設(shè)計效果,發(fā)現(xiàn)關(guān)鍵問題,改進(jìn)和優(yōu)化設(shè)計。次要目標(biāo)為了解泰國用戶對于短視頻的認(rèn)知、用戶使用行為、用戶畫像和潛在需求挖掘。
需要注意的是輔助任務(wù)并非面面俱到,時間寶貴,資源有限。所以我們一般采取的方法是聚焦主要目標(biāo),兼顧次要目標(biāo)。任務(wù)不能太多,保證核心任務(wù)能夠深入的完成,避免造成只是泛泛的了解各個任務(wù)。
1.2 語言問題
相比于國內(nèi)而言,海外可用性測試最大的困難點在于無法直接的通過語言進(jìn)行雙向的溝通。在英語國家我們或許可以通過英語直接進(jìn)行溝通,但對于泰國、越南等小語種國家我們面臨兩個最大的挑戰(zhàn):一方面要打破語言障礙把想法精準(zhǔn)的傳達(dá)給用戶;另一方面要獲得用戶最真實的想法。
針對以上問題從不同干系人的角度提供3個解決方法:
- 測試員自身:作為測試員,即使自身英語口語能力不錯,相關(guān)語料的準(zhǔn)備也必不可少。測試過程中涉及到的相關(guān)術(shù)語要提前查找翻譯好,避免因表達(dá)錯誤造成翻譯人員或者用戶誤解。測試任務(wù)表一般要制作成雙語版,并提前E-mail給local同事review,根據(jù)反饋及時進(jìn)行修正。
- 翻譯人員:有條件的情況下優(yōu)先選擇local產(chǎn)品設(shè)計相關(guān)同事,他們對產(chǎn)品的邏輯和操作流程熟悉,專業(yè)術(shù)語表達(dá)準(zhǔn)確。如果沒有產(chǎn)品同事也可在選擇其他職位同事或者找第三方翻譯人員,但前提是一定要提前做好溝通,確保任務(wù)翻譯的準(zhǔn)確傳達(dá)。
- 測試用戶:在滿足其他招募條件的前提下,優(yōu)先選擇有英語表達(dá)能力的用戶。避免因二次翻譯造成的“詞不達(dá)意”。(用戶招募具體條件請查看下文)
1.3 用戶招募
合適的用戶是保證測試結(jié)果準(zhǔn)確有效的前提,而相對國內(nèi)我們對于海外用戶的情況不夠了解,更希望能找到典型用戶進(jìn)行測試,方能事半功倍。
用戶招募相關(guān)注意點總結(jié)如下:
(1)通過查閱網(wǎng)絡(luò)資料,先對當(dāng)?shù)氐那闆r有初步的了解,劃定目標(biāo)用戶人群范圍:年齡、文化水平、職業(yè)等;
(2)出行前優(yōu)先選擇第三方公司幫忙招募,其次讓當(dāng)?shù)氐耐侣?lián)系;
(3)用戶類型選?。嚎梢詮挠脩粽心嫉念愋统霭l(fā),根據(jù)具體用研目標(biāo)來確定招募人群,比如:
- 本產(chǎn)品可用性測試:本產(chǎn)品的用戶
- 了解某行業(yè)用戶行為:行業(yè)的典型用戶,但不一定是本產(chǎn)品的
- 用戶挖掘用戶痛點:行業(yè)相關(guān)的深度用戶
另外需要特別注意的幾點:
- 用戶的多樣性:性別、年齡層次、職業(yè)類型盡量均衡,避免以偏概全。
- 用戶的表達(dá)意愿:目標(biāo)用戶應(yīng)當(dāng)是有意愿表達(dá)自己想法的的人群。
- 避開特殊用戶:例如產(chǎn)品經(jīng)理、設(shè)計師和相關(guān)產(chǎn)品的開發(fā)人員。因為這些人的思維很容易局限在專業(yè)的角度,不具有普遍性。
- 借助網(wǎng)絡(luò)渠道:例如在本次調(diào)研之前我們已經(jīng)完成了線上用戶的問卷調(diào)研,部分用戶有留下自己的聯(lián)系方式,這就是一部分潛在的有意愿用戶,所以首先我們先對這部分用戶發(fā)出了測試邀請。
區(qū)別于線上定量的問卷調(diào)研,定性的可用性測試用戶數(shù)量并非越多越好。如圖Nielson研究表明,測試4人足以發(fā)現(xiàn)75%可用性問題。但這里的4人是完全符合招募條件的、典型的有效用戶,所以考慮到結(jié)果有效性通常情況下我們會選擇6-8名。如果在時間和條件允許的情況下,為了發(fā)現(xiàn)更多可用性問題可以適當(dāng)增加被試者數(shù)量。
以本次泰國VOOV可用性測試為例,我們總共進(jìn)行了9場可用性測試,每場1-3人不等,其中選擇一個作為主測試反映主要問題,其他作為輔助。篩選的原則是根據(jù)用戶類型和前期幾分鐘溝通情況進(jìn)行的。
比如:三個用戶中有一個對于同類產(chǎn)品比較熟悉,明顯善于表達(dá),就可以重點測試該用戶。這樣對用戶進(jìn)行二次篩選有利于暴露更多典型問題,提高測結(jié)果的有效性。
1.4 任務(wù)設(shè)計
由于可用性測試是特定的人、在特定的時間、特定的地點完成特定的任務(wù),整個過程環(huán)環(huán)相扣的,很像一場演出。所以需要有一個任務(wù)設(shè)計腳本把測試的模塊列出,用路徑串聯(lián)各個模塊,然后轉(zhuǎn)化成任務(wù)的形式。這樣方便用戶理解整個測試過程的邏輯,減少疑惑和挫敗感。
任務(wù)設(shè)計是整個可用性測試最重要的部分。任務(wù)設(shè)計的質(zhì)量直接決定測試結(jié)果的有效程度在任務(wù)的設(shè)計方面總結(jié)了3個原則:
(1)任務(wù)情景化:把任務(wù)融入到合理的情境中,讓用戶在特定的任務(wù)場景下去發(fā)現(xiàn)我們預(yù)先設(shè)置好的操作路徑,而不是直接告知用戶。
- 正確示例:朋友分享了VOOV上的一段視頻給你,你覺得視頻很酷,你想看這個作者的更多作品。
- 錯誤示例:請搜索視頻水印上的ID號并進(jìn)入用戶主頁查看作品。
(2)操作目標(biāo)化:告知用戶目標(biāo),而不是操作步驟。任務(wù)描述不要有引導(dǎo)性,達(dá)到目標(biāo)的路徑可能不止一個,大多數(shù)用戶傾向使用的就是我們需要重點關(guān)注和優(yōu)化的。
- 正確示例:給昵稱為shawn的用戶發(fā)一條信息“hello”。
- 錯誤示例:搜索框輸入shawn并點擊搜索,點擊頭像進(jìn)入用戶主頁,找到發(fā)信息按鈕點擊發(fā)送消息。
(3)流程邏輯化:任務(wù)設(shè)置順序符合產(chǎn)品使用流程。同一任務(wù)的操作先后順序要復(fù)合邏輯,上一個任務(wù)和下一個任務(wù)之間要要復(fù)合使用流程。
- 正確示例:請用你喜歡的音樂拍攝一段慢動作效果的視頻,設(shè)置話題為 “#cool” 發(fā)布。
- 錯誤示例:拍攝一段慢動作效果的視頻,設(shè)置話題為 “#cool” 配上你喜歡的音樂發(fā)布。
任務(wù)數(shù)量不宜過多,6-8個為宜,整體時間控制30分鐘左右。任務(wù)太多時間太長容易使用戶產(chǎn)生疲勞感從而影響測試效果。同一操作路徑上簡單的測試任務(wù)可以適當(dāng)進(jìn)行合并,反之如果任務(wù)難度太大要進(jìn)行拆分。
1.5 測試演練
為了保證任務(wù)設(shè)置在難度、邏輯順序上的合理性,確保測試任務(wù)能順利進(jìn)行,需要進(jìn)行測試演練。測試演練要避免選擇業(yè)務(wù)相關(guān)人員,建議可邀請人事、秘書、翻譯等同事參加。
測試過程盡量模擬真實情況,按照預(yù)設(shè)的流程和節(jié)奏進(jìn)行。測試中如出現(xiàn)在理解上有歧義或者偏差的任務(wù)項目,要及時對任務(wù)進(jìn)行修正。太復(fù)雜的任務(wù)導(dǎo)致流程過長的要進(jìn)行適當(dāng)?shù)牟鸾狻?/p>
2. 中期測試執(zhí)行
在前期做好了充足準(zhǔn)備后就要來到local當(dāng)?shù)販?zhǔn)備進(jìn)行實地的調(diào)研,在訪談?wù)竭M(jìn)行之前要提前熟悉場地,包括訪談室的位置,電源情況,座位的位置等等。
測試流程分為如下過程:
2.1 暖場親和,避免壓力
海外用戶對“外國人”的陌生感加上語言障礙,可能對我們會有陌生感和心理防衛(wèi)。暖場的目的是讓用戶了解測試的目的,暢所欲言。
在暖場過程中要傳達(dá)給用戶以下幾點:
(1)讓用戶明白測試的對象不是自己,而是產(chǎn)品。
(2)操作沒有正確答案,按照平時的使用習(xí)慣就可以。
(3)過程中會錄像僅僅為了后續(xù)分析,不會泄漏隱私。
另外為了減少壓力感要注意:
- 測試中跟用戶盡量平起平坐,盡量避免站在用戶身后;
- 參與角色比較多(包括翻譯、用研人員、產(chǎn)品、設(shè)計等),在保證正常進(jìn)度下盡量控制人數(shù);
- 在訪談暖場的同時,可以讓用戶填寫預(yù)先打印好的《用戶基本信息表格》,目的是對用戶有個大致的了解,形成粗略的用戶畫像?;拘畔⒈砀裨O(shè)計包含但不限于年齡、職業(yè)、興趣愛好、生活工作狀態(tài)、手機和系統(tǒng)型號、網(wǎng)絡(luò)流量包情況等。Tips:提前做好雙語翻譯有利于效率提升。
2.2 自由操作,觀察詢問
在開始正式的任務(wù)之前,一般會先讓用戶自由操作軟件3-5分鐘,一方面讓用戶熟悉一下APP,另一方面是測試人員觀察用戶使用習(xí)慣的時間。
要充分利用這個時間交流產(chǎn)品相關(guān)的使用經(jīng)驗和習(xí)慣,通用的方法是“5W1H”(什么時間和誰在哪里做了什么?怎么做的?為什么這么做?),這里的一個小技巧是提前和翻譯人員溝通好想問的問題,讓翻譯人員直接詢問被試者以節(jié)省時間,調(diào)高效率。
2.3 任務(wù)腳本及時調(diào)整
在測試進(jìn)行了幾輪之后,有可能會發(fā)現(xiàn)用戶對于比較寬泛的問題存在疑惑、不解?;蛘甙l(fā)現(xiàn)了用戶之間的一些共同趨勢并希望了解這種趨勢。這時,我們應(yīng)該及時調(diào)整腳本,增加或刪減一些內(nèi)容。畢竟用戶尤其是海外用戶的一些想法和行為適合我們預(yù)想的有一定偏差的。
定性研究是探索性的,隨著測試和訪談的進(jìn)行會產(chǎn)生一些新的想法,這時就需要對原來的腳本進(jìn)行細(xì)化使得所構(gòu)建的理論框架越來越清晰。最理想的情況是每做完一次可用性測試都相應(yīng)的調(diào)整一次腳本,但是具體實施的話不太現(xiàn)實,所以建議采取每天下來一起綜合做總結(jié)調(diào)整。這種方式會相對不那么累,也可以給我們帶來更多信息。
2.4 盡量讓用戶使用“發(fā)聲思維”,做到“三不”
在用戶操作的同時要時刻進(jìn)行觀察,最好把每一步操作的原因和想法講出來,以便我們能清楚地了解到操作的原因,挖掘背后優(yōu)化的點。做到“三不”,即不打斷、不引導(dǎo)、不影響。
通常的做法有兩種:
- 邊測邊訪(優(yōu)點:及時了解用戶當(dāng)前的想法;缺點:干擾操作過程)
- 先測后訪(優(yōu)點:不干擾操作過程;缺點:用戶事后會忘記為什么這么做)
在條件允許的情況下優(yōu)先采用A方法,但由于海外調(diào)研的特殊性,即便翻譯資源到位的情況下逐句翻譯對操作過程的干擾很大,所以一般B形式進(jìn)行。測試過程中不要去打擾用戶,也不要給用戶任何提示。
記錄問題并在測試完成后和用戶進(jìn)行溝通,詢問用戶當(dāng)時在這里出現(xiàn)障礙是遇到了什么問題,當(dāng)時自己是怎么想的。另外一種情況是測試過程中用戶遇到問題時主動問測試人員,可以直接回答用戶:按照你想的去做。
當(dāng)然有一種極端的情況是用戶實在無法繼續(xù)操作了,這時可以看情況決定是否結(jié)束本項任務(wù)。
2.5 完成任務(wù)體驗評分,補充訪談深挖原因
通常測試完成后會有補充訪談,一般情況下是根據(jù)用戶在操作中遇到的問題進(jìn)行深度調(diào)研。為了避免全開放問題導(dǎo)致的冷場,我們增加了體驗打分的形式,讓用戶對操作過程打分再根據(jù)分?jǐn)?shù)進(jìn)行討論,進(jìn)而引導(dǎo)到使用建議等開放性問題上面。
滿意度評價表是用戶根據(jù)操作過程中的感受形成的對產(chǎn)品主觀性的評價,一般是針對性能和整體操作流暢性問題進(jìn)行的梯度打分。這些分值是用戶主觀性的反饋,也是我們進(jìn)行優(yōu)化和體驗度提升的重要參考。
分值不重要,重要的是要挖掘背后的原因。比如:當(dāng)用戶對其中某項打分過低時,我們要詢問是哪個具體的流程或者細(xì)節(jié)導(dǎo)致打分過低。
以本次調(diào)研為例:設(shè)置了不符合、一般、符合,共3個維度分別賦值1-3,增設(shè)“沒注意到”賦值為0。綜合分?jǐn)?shù)即為該項整體滿意度。
3. 后期報告輸出
根據(jù)測試結(jié)果,用研人員要對報告內(nèi)容進(jìn)行整理和輸出??捎眯詧蟾娴膬r值在于:記錄評估過程,幫助組織內(nèi)部了解測試過程和內(nèi)容。傳達(dá)信息,并說服干系人,可用性測試報告可以有理有據(jù)的告訴干系人,我們的結(jié)論并非憑空產(chǎn)生,便于資源的申請。
除此之外,還可以傳遞評估結(jié)果,樹立用戶體驗意識等??捎眯詧蟾娴膬?nèi)容一般包括:對產(chǎn)品的描述。
- 測試目標(biāo)。
- 對參與者數(shù)量和畫像的描述。
- 測試時所執(zhí)行的任務(wù)。
- 測試的實驗設(shè)計。
- 采用的評估方法。
- 數(shù)據(jù)結(jié)果,包括圖形可視化的展現(xiàn)。
- 對問題的描述。
- 對產(chǎn)生問題原因的分析。
- 對問題的嚴(yán)重程度和影響范圍的評估。
- 建議的解決方案。
3.1 問題描述要從問題發(fā)生的情景出發(fā),方便各個團(tuán)隊的閱讀者理解來龍去脈
通用格式是:用戶想做XX事時,發(fā)生了XX事,導(dǎo)致了XX問題
舉例:用戶想查看發(fā)現(xiàn)頁某tag下的全部視頻時,點擊了tag名稱但沒有進(jìn)入tag詳情頁,導(dǎo)致查看失敗。
3.2 根據(jù)問題流程主次&最終是否完成任務(wù)來區(qū)分優(yōu)先級
- 核心流程:使用該產(chǎn)品的必經(jīng)流程,或重點功能所在的流程(如:短視頻添加背景音樂)
- 非核心流程:其他流程(如:發(fā)短視頻添加描述)
根據(jù)以上兩個維度可以把問題分成4類嚴(yán)重程度:災(zāi)難、嚴(yán)重、中等、輕微。如下圖:
需要注意的是,可用性測試得到的問題優(yōu)先級排列是用研人員基于用戶的測試而給出的結(jié)果,這個優(yōu)先級順序并不是產(chǎn)品開發(fā)的實際優(yōu)先級順序。
首先,用戶對產(chǎn)品的認(rèn)知和產(chǎn)品相關(guān)人員對產(chǎn)品的認(rèn)知肯定是存在一定差異的。其次,這些問題的解決還需要考慮設(shè)計周期,開發(fā)周期,業(yè)務(wù)成本等。所以,用研應(yīng)該和產(chǎn)品團(tuán)隊一起從用戶的角度來理解這些問題的重要程度,再由相關(guān)人員決定實際的優(yōu)先級排次序。
3.3 引用用戶原話,注意正向反饋
對于測試過程中出現(xiàn)的一些問題,在報告中呈現(xiàn)時可以引用用戶的原話輔助說明,這樣可以增加說服力。相關(guān)干系人也不會認(rèn)為這是客觀事實而非測試人員主觀論斷。
另一方面注意的是:可用性測試可以測出產(chǎn)品或性能的一些問題,但是如果一份可用性測試報告通篇都是在講問題,產(chǎn)品、開發(fā)或其他local相關(guān)者在情感上肯定會很難受。在可用性測試中,當(dāng)用戶提到產(chǎn)品的某個或某些優(yōu)點時,我們同樣需要記下來,并在事后的報告中提及,特別是一些被多次提及的優(yōu)點。
這樣做有兩點好處:
- 對于報告的接收者——產(chǎn)品、開發(fā)或其他local相關(guān)者,心理上不會那么受挫,感受到用研的一種中立態(tài)度(優(yōu)點缺點都有),會利于用研后續(xù)的合作和溝通;
- 引起對這些多次被提及的優(yōu)點的重視,以免在后續(xù)的迭代版本中丟失。
3.4 有明確的解決建議以及規(guī)劃,并翻譯成多語言版本同步各國Team
如果只是提出問題還不夠,要針對每一個問題提出相對應(yīng)具體的優(yōu)化方案。方案陳述盡量簡潔明了,且說明是交互問題、視覺問題還是技術(shù)問題,如果涉及復(fù)雜流程的整體優(yōu)化改進(jìn),可以附上簡潔流程說明圖。比如針對以上問題的優(yōu)化方案是:建議把more按鈕的熱區(qū)擴(kuò)大為tag名稱整行。
之后要把報告翻譯成雙語版本同步到各國team。
總結(jié)
前期測試準(zhǔn)備:
- 平衡目標(biāo),聚焦任務(wù)兼顧其他
- 聯(lián)合三方干系人,共同解決語言問題
- 綜合各方資源招募有效用戶
- 任務(wù)設(shè)計場景化、目標(biāo)化、邏輯化
- 做好預(yù)先演練,提起暴露問題
中期測試執(zhí)行:
- 暖場親和,避免“外國人”壓力
- 任務(wù)腳本及時修正,
- 讓用戶“發(fā)聲思維”,先測后訪,做到“三不”
- 完成任務(wù)體驗評分,補充訪談深挖原因
后期報告輸出:
- 問題描述情景出發(fā),方便理解來龍去脈
- 問題區(qū)分優(yōu)先級進(jìn)行開發(fā)排期
- 引用用戶原話,注意正向反饋
- 明確的解決建議及規(guī)劃,翻譯同步各國Team
總體來說,海外可用性測試中會碰到很多細(xì)節(jié),需要在做測試的過程中不斷積累和思考,以便下次做的更完美??捎眯詼y試沒有絕對標(biāo)準(zhǔn)絕對正確的方法,重要的是選擇一種方式,及時了解用戶最真實的情況,研究用戶最真實的想法。把這些點傳達(dá)給相關(guān)方,轉(zhuǎn)化到產(chǎn)品的設(shè)計和體驗度提升上,去提升產(chǎn)品價值,滿足深層次的使用需求。
本文是筆者結(jié)合實際的海外用研經(jīng)歷,對國內(nèi)通用用研方法進(jìn)行的補充和擴(kuò)展。后續(xù)會有關(guān)于海外用戶研究系列文章發(fā)出,敬請期待。如果做可用性測試的過程中,你也有一些思考和問題,歡迎隨時交流~
作者:曉吾設(shè)計,公眾號:曉吾設(shè)計
本文由 @曉吾設(shè)計 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
hi,有個問題想指教。文中根據(jù)維度劃分問題程度,有點疑問的是核心流程走向成功,為什么會是災(zāi)難?這之間的不同程度劃分如何理解好?
期待后續(xù)。其實希望可以有一個對海外產(chǎn)品用研的綜述,然后再分點展開。
?? 接下來除了線上問卷調(diào)研,還真有一篇綜述的正在撰寫。敬請期待嘻嘻 ??
學(xué)習(xí)了!雖然感覺用不上。我也不知道我一個小公司產(chǎn)品經(jīng)理為什么把全文看完了……
哈哈哈,你好可愛??赡艹苏Z言和個別流程之外,海外和國內(nèi)用戶調(diào)研差不太多啦。歡迎關(guān)注【曉吾設(shè)計】公眾號哈 ??
海外用戶研究的分享非常有價值,期待后續(xù)的系列
后續(xù)還有還有問卷調(diào)研篇,敬請關(guān)注。??
沙發(fā)?????
官方認(rèn)證??