工具型產(chǎn)品可用性測試怎么做?
編輯導(dǎo)讀:可用性測試,能夠讓產(chǎn)品經(jīng)理借助用戶,更加客觀理性地理解產(chǎn)品功能以及交互,并結(jié)合測試結(jié)果予以改進(jìn)。本文作者從項(xiàng)目實(shí)踐出發(fā),結(jié)合案例分享了工具型產(chǎn)品可用性測試的具體流程,供大家一起參考和學(xué)習(xí)。
打造一款產(chǎn)品的過程中,我們需要時(shí)刻保持警惕:功能是否滿足用戶核心需求?交互流程能否做到簡單流暢?是否還有未知領(lǐng)域可以由用戶帶來啟發(fā)?進(jìn)行一次準(zhǔn)備充分的可用性測試,無疑是解答上述問題快捷有效的方式。
下面我將結(jié)合本次針對酷家樂旗下云端建模工具——酷大師所做的可用性測試,說明工具型產(chǎn)品如何去做可用性測試。
01 準(zhǔn)備階段
第一步:明確測試目的
測試目的不同,安排的測試任務(wù)就不同,進(jìn)而就會影響最終得到的結(jié)果。所以測試之初需要考慮清楚測試目的。國際標(biāo)準(zhǔn)化組織在人體工程學(xué)設(shè)計(jì)的人機(jī)交互部分( ISO9241) 把【可用性】規(guī)定為 3 個(gè)指標(biāo):
- 有效性:用戶使用該系統(tǒng)完成任務(wù)的精度和完整性;
- 效率:用戶使用該系統(tǒng)完成任務(wù)需要耗費(fèi)的資源;
- 用戶滿意度:用戶對該系統(tǒng)的舒適度和認(rèn)可接受程度。
結(jié)合這3個(gè)指標(biāo),我將本次測試目的設(shè)定為:
- 了解用戶對酷大師現(xiàn)有主流程的使用現(xiàn)狀;
- 了解用戶對酷大師的體驗(yàn)滿意度及需求滿足情況。
第二步:確定測試時(shí)間和環(huán)境
測試時(shí)間:
- 測試準(zhǔn)備時(shí)間:建議為期2天。準(zhǔn)備相關(guān)文檔、設(shè)備、場地、任務(wù)等。
- 用戶測試時(shí)間:建議為期3-5天。可短時(shí)間內(nèi)容集中進(jìn)行用戶測試,或在工作日穿插進(jìn)行測試。
- 結(jié)果整理時(shí)間:建議為期5天。用于整理測試信息、落實(shí)產(chǎn)品迭代任務(wù)、撰寫總結(jié)報(bào)告等。
測試環(huán)境:
- 線下環(huán)境:邀約用戶到公司辦公室現(xiàn)場測試;
- 線上環(huán)境:考慮到用戶路程及時(shí)間等限制性因素,也可在線上進(jìn)行測試。
第三步:安排測試設(shè)備
- 操作設(shè)備:取決于目標(biāo)用戶群體主要使用的設(shè)備,假如用戶都使用ipad,就要將ipad列為主要操作設(shè)備。
- 錄音設(shè)備:測試結(jié)束后需要進(jìn)行詳細(xì)的信息整理,錄音資料可以幫助回憶溝通內(nèi)容??墒褂檬謾C(jī)自帶錄音功能或?qū)I(yè)錄音筆。錄音前必須告知用戶,在征得許可后方能進(jìn)行錄音。
- 錄屏設(shè)備:工具型產(chǎn)品的操作過程中涉及很多細(xì)節(jié),錄屏資料可以幫助工作人員進(jìn)行問題定位??墒褂秒娔X自帶錄屏功能,或錄屏工具。
- 遠(yuǎn)程設(shè)備:由于部分用戶需在線上測試,可使用在線工具進(jìn)行遠(yuǎn)程協(xié)作,比如:zoom、騰訊會議等。
- 記錄本和筆:測試過程中進(jìn)行表格填寫時(shí)需要使用。
- 文檔資料:主要包括測試過程中需要填寫的表格。建議打印n+2套,n是測試樣本數(shù)量,另外2套備用。
- 場地準(zhǔn)備:提前預(yù)約會議室,給用戶獨(dú)立的操作環(huán)境。
- 測試酬勞:具體可根據(jù)公司政策進(jìn)行準(zhǔn)備。
第四步:邀約測試樣本
Nielsen在理論中認(rèn)為5-8位用戶可以測試出85%的可用性問題,實(shí)踐下來確實(shí)如此,樣本數(shù)量建議控制在這個(gè)范圍。
在同一個(gè)產(chǎn)品的用戶中,新手用戶、永久的的中間用戶、專家用戶這三類角色通常是共存的。我們需要讓新手用戶快速和無痛苦地成為中間用戶;避免為那些想成為專家的用戶設(shè)置障礙;最為重要的是,讓永久的中間用戶感到愉快,因?yàn)樗麄兊募寄軐⒎€(wěn)定地處于中間層。
本次測試中,我盡量使樣本中包含這3類用戶,比例為2:3:3。測試之后,就可以大概知道對于不同類型用戶來說,產(chǎn)品可用性和易用性情況,也可以得到多維度差異化的反饋。
第五步:設(shè)計(jì)測試文檔
測試中需要使用一些管理用戶信息或記錄用戶反饋的表格,在準(zhǔn)備階段就要做好表格設(shè)計(jì)和打印工作。下面是具體的表格,可根據(jù)具體需求做相應(yīng)調(diào)整。
(1)《用戶信息&排期表》
在這張表中管理測試用戶信息【姓名、職業(yè)】、測試安排【時(shí)間、地點(diǎn)】、測試工作人員【主持人、觀察員】。一場測試盡量安排一位主持人和一位觀察員作為工作人員相互配合。
主持人負(fù)責(zé)與用戶溝通互動(dòng),推進(jìn)測試進(jìn)程;觀察員負(fù)責(zé)設(shè)備和資料保障,以及測試過程中的行為觀察和記錄。一個(gè)人獨(dú)自承擔(dān)主持人+觀察員角色的話,在用戶反饋密集而現(xiàn)場又出現(xiàn)臨時(shí)狀況時(shí)就會手忙腳亂,所以建議兩個(gè)角色分工協(xié)作。
(2)《用戶基本信息問卷》
在這張問卷中可以設(shè)計(jì)與產(chǎn)品相關(guān)的用戶基本信息問題,問卷設(shè)計(jì)原則為:
- 關(guān)聯(lián)性:與需要測試的內(nèi)容相關(guān);
- 層級性:問題層級依次遞進(jìn),使用戶回答問題時(shí)能夠思維連貫,由淺入深;
- 隱私性:盡量避免涉及用戶敏感信息,必須涉及時(shí)需解釋原因,尊重用戶意愿。比如有些用戶不愿透露年齡、收入等信息。
這張問卷使用在線工具呈現(xiàn),比如騰訊問卷;也可現(xiàn)場打印紙質(zhì)問卷進(jìn)行詢問填寫。大多數(shù)用戶比較喜歡現(xiàn)場填寫。
(3)《單任務(wù)滿意度問卷》
測試過程中,我們需要讓用戶完成一個(gè)完整任務(wù),該任務(wù)需要拆解成若干單任務(wù)。在每個(gè)單任務(wù)結(jié)束后,立刻對用戶進(jìn)行該單任務(wù)的滿意度詢問。
(4)《SUS系統(tǒng)可用性量表》
用戶結(jié)束完整任務(wù)后,填寫該量表。該量表由10個(gè)題目組成,包括奇數(shù)項(xiàng)的正面陳述和偶數(shù)項(xiàng)的反面陳述。在結(jié)果整理階段,我們再對該量表進(jìn)行分值計(jì)算。
第六步:規(guī)劃測試腳本
從開始到結(jié)束,需要主持人將整場測試的各個(gè)環(huán)節(jié)串聯(lián)起來,引導(dǎo)用戶操作,推動(dòng)測試進(jìn)程向前發(fā)展。為防止意外狀況出現(xiàn),可以預(yù)設(shè)測試腳本,規(guī)劃情境和話術(shù),并在預(yù)測試環(huán)節(jié)驗(yàn)證及優(yōu)化該話術(shù)。
比如可以這樣開場:“首先非常感謝您今天能來參加我們的可用性測試,我是主持人XXX,這位是觀察員XXX。我們這次是對酷大師建模工具進(jìn)行可用性測試,想了解您使用時(shí)的體驗(yàn)和感受。
在這里需要強(qiáng)調(diào)的是:我們測試的對象是工具,而不是您,所以您不必感到緊張……當(dāng)您使用工具時(shí),我們會觀察和記錄。今天的測試大概需要一個(gè)小時(shí),測試過程中會有休息時(shí)間。測試過程中,請您將手機(jī)保持靜音狀態(tài)……“
比如可以這樣進(jìn)行兩個(gè)單任務(wù)環(huán)節(jié)串場:“好的,我們已經(jīng)完成了第一個(gè)單任務(wù)?,F(xiàn)在有一份簡單的問卷,填完后可以稍微休息一下。
【出示問卷,并作簡要填寫說明】【問卷完成后進(jìn)行簡單訪談,用戶也稍稍休息后繼續(xù)】現(xiàn)在,我們開始進(jìn)行第二個(gè)單任務(wù)【要清晰且大聲地說出這句話,以“鼓勵(lì)”測試參加者和提示記錄人員】……”
具體話術(shù)依據(jù)需要測試的內(nèi)容和情境展開,盡量做到專業(yè)、友好。
第七步:設(shè)計(jì)測試任務(wù)
可用性測試往往帶有一定目的性,而這些目的能不能達(dá)成,取決于任務(wù)與目的的關(guān)聯(lián)性以及用戶是否能夠給到對應(yīng)反饋。通常,測試用戶是愿意給予反饋的,那么測試任務(wù)的設(shè)計(jì)就成為整個(gè)準(zhǔn)備階段最重要的環(huán)節(jié)。
做好測試任務(wù)的設(shè)計(jì)和拆解:需要具備從全局高度理解產(chǎn)品的能力;需要知道產(chǎn)品全鏈路的過去起源、現(xiàn)狀細(xì)節(jié)、未來走向;需要精確把控重點(diǎn),拎出骨架;需要去繁就簡,以較少的任務(wù)成本測出最有價(jià)值的信息。
本次測試中,我設(shè)計(jì)的主流程是:模型創(chuàng)建——材質(zhì)鋪貼——模型渲染——模型發(fā)布——模型分享,并且我還希望測到拉伸、陣列、組編輯、移動(dòng)、旋轉(zhuǎn)這樣的主功能。所以我將這兩塊有機(jī)結(jié)合,給到用戶創(chuàng)建一個(gè)【樓梯踏步模型】的任務(wù)。
我將任務(wù)按照主流程拆解為5個(gè)單任務(wù),主功能分布到其中幾個(gè)單任務(wù)中,且盡量做到兩個(gè)單任務(wù)中不重復(fù)使用同一個(gè)主功能。
02 預(yù)測試階段
大多數(shù)產(chǎn)品都存在一些限制因素導(dǎo)致的尚未解決的已知問題。這些問題在測試中出現(xiàn)的話,會轉(zhuǎn)移用戶注意力,削弱本次測試的價(jià)值,偏移本次測試的目的。
另外,我們準(zhǔn)備階段進(jìn)行的種種規(guī)劃也需要得到驗(yàn)證。結(jié)合這兩個(gè)原因,正式測試之前建議進(jìn)行內(nèi)部的用戶預(yù)測試。找出并修復(fù)測試環(huán)節(jié)中的漏洞,準(zhǔn)備好各類突發(fā)狀況下的planB,以及修復(fù)影響正式測試的已知問題,提高正式測試的執(zhí)行效率。
03 正式測試階段
第一步:測試開場,填寫《用戶基本信息問卷》
本次測試是在工作日穿插進(jìn)行8場一對一用戶測試。這樣可以放緩測試節(jié)奏,在兩場測試間隙有充足時(shí)間簡單整理上一場收集的信息,與下一場用戶確認(rèn)測試安排,以及對突發(fā)狀況及時(shí)處理。
正式開始前半小時(shí),觀察員需確認(rèn)設(shè)備都已調(diào)試妥當(dāng),資料都已打印完成。主持人可與用戶進(jìn)行聯(lián)系,帶領(lǐng)用戶進(jìn)入測試場所。主持人可以通過填寫《用戶基本信息問卷》了解用戶基本信息,幫助用戶消除在陌生環(huán)境下的溝通障礙。也可以使用戶以放松狀態(tài)完成測試任務(wù),以開放心態(tài)為后續(xù)拓展性話題的展開做好準(zhǔn)備。
無論是填寫《用戶基本信息問卷》還是后續(xù)的問卷,建議采用主持人提問、用戶回答的方式收集信息。用戶的注意力集中于思考和溝通,就能夠提供更多有價(jià)值的信息,而不是忙于撰寫問卷。
第二步:完成單任務(wù),填寫《單任務(wù)滿意度問卷》
主持人按照順序分步解說單任務(wù)。單任務(wù)測試過程中,工作人員不要去打擾用戶,也不要給用戶任何提示,所有的問題都等到測試結(jié)束再進(jìn)行解答。
觀察員需仔細(xì)觀察用戶操作,記錄用戶是否很容易判斷出如何操作,完成某個(gè)重要功能點(diǎn)時(shí)是否順暢;需隨時(shí)關(guān)注用戶表情,記錄下明顯表情相關(guān)聯(lián)的流程或功能點(diǎn)等等細(xì)節(jié)。
一個(gè)單任務(wù)完成后,提示用戶稍事休息,然后提問《單任務(wù)滿意度問卷》中的問題。此時(shí)可以回答用戶操作過程中的疑問,也可以藉由操作中的細(xì)節(jié)做延展發(fā)散,詢問用戶操作感受。通常可以獲得很多針對該單任務(wù)的意見和建議。這些意見和建議后續(xù)就需要記錄整理,作為優(yōu)化任務(wù)幫助提升產(chǎn)品可用性和易用性。
第三步:填寫《SUS系統(tǒng)可用性量表》,了解整體評估
整個(gè)任務(wù)完成后,可以藉由填寫《SUS系統(tǒng)可用性量表》,了解用戶對整體的評估。由于量表的10個(gè)題目中,包括奇數(shù)項(xiàng)的正面陳述和偶數(shù)項(xiàng)的反面陳述,所以在提問過程中一定要陳述清楚題目。如果用戶認(rèn)為有些問題無法回答,則視為其選擇中間值。在后續(xù)的結(jié)果整理階段,再對量表總分進(jìn)行計(jì)算。
在問題詢問過程中,可以有針對性地詢問原因。比如針對第2個(gè)問題“我認(rèn)為酷大師建模工具的操作較為復(fù)雜,其實(shí)沒必要這么復(fù)雜”。
如果用戶認(rèn)為不復(fù)雜,則可以詢問哪些點(diǎn)非常簡單易用;如果用戶覺得復(fù)雜,則可以詢問哪些點(diǎn)覺得復(fù)雜。用戶告知原因的同時(shí),常常會說出他認(rèn)為比較簡單的解決方案。這些解決方案或者來自于競品,或者來自于實(shí)踐,或者來自于創(chuàng)新,常??梢詭椭覀冮_拓思路,走出認(rèn)知盲區(qū)。
第四步:拓展性訪談,測試收尾
在這個(gè)環(huán)節(jié)可以不必拘泥于原定的測試任務(wù)。建議預(yù)留一定時(shí)間,大到行業(yè)發(fā)展,小到產(chǎn)品細(xì)節(jié),與用戶進(jìn)行一番深度探討。這些來自于一線的用戶常常會帶來一些新鮮的靈感,為產(chǎn)品未來的拓展提供一些線索,解決產(chǎn)品當(dāng)下的一些困惑。
由于我們一開始就對測試樣本進(jìn)行了分類,所以也可以結(jié)合前面幾個(gè)環(huán)節(jié)的信息,對各分類下的用戶訴求和行為習(xí)慣進(jìn)一步驗(yàn)證、區(qū)分、歸納。
04 結(jié)果整理階段
第一步:SUS量表分值計(jì)算
首先,我們需要計(jì)算SUS量表總分。奇數(shù)項(xiàng)計(jì)分采用“原始得分-1”,偶數(shù)項(xiàng)計(jì)分采用“5-原始得分”。由于是5點(diǎn)量表,每個(gè)題目的得分范圍記為0~4(最大值為40),而SUS的范圍在0~100,故需要把所有項(xiàng)的轉(zhuǎn)換分相加,最終再乘以2.5,即可獲得SUS分?jǐn)?shù)。
其次,我們可以獲得分量表得分。SUS量表中,第4和第10項(xiàng)構(gòu)成的子量表為“易學(xué)性”(Learnability),其他8項(xiàng)構(gòu)成的子量表為“可用性”(Usability)。
為了使易學(xué)性和可用性分?jǐn)?shù)能夠與整體SUS分?jǐn)?shù)兼容,范圍也是0~100,需要對原始分?jǐn)?shù)進(jìn)行轉(zhuǎn)換:易學(xué)性量表轉(zhuǎn)換分?jǐn)?shù)的總和乘以12.5,可用性量表乘以3.125。
最后,我們可以將SUS量表分?jǐn)?shù)換算成百分等級來解釋,找到對應(yīng)評級。百分等級的意思是指測量的產(chǎn)品或系統(tǒng)相對于總數(shù)據(jù)庫里其他產(chǎn)品或系統(tǒng)的可用性程度。比如SUS得分是73分,其百分等級大約為67,意味著比大約66%的產(chǎn)品可用性更好。
第二步:整理問題列表,推進(jìn)迭代優(yōu)化
做完所有用戶的測試之后,我們一定會收集到很多涉及具體功能點(diǎn)的反饋。對于正向反饋,我們可以謙虛地接受,并且思考這些打動(dòng)用戶的點(diǎn)如何復(fù)用;對于非正向反饋,我們應(yīng)該冷靜地思考,它們將是本次可用性測試中最直接而有效的收獲!
對這些反饋可以進(jìn)行分類歸納,將其中能夠立即應(yīng)用于產(chǎn)品的內(nèi)容整理出來,按照優(yōu)先級,放入產(chǎn)品迭代優(yōu)化任務(wù)中。這些任務(wù)將提高產(chǎn)品可用性,在數(shù)據(jù)層面能夠幫助提升留存率。我們這次可用性測試中總共獲取97個(gè)有效反饋,其中62個(gè)整理進(jìn)產(chǎn)品迭代任務(wù),并且取得了用戶使用數(shù)據(jù)上的相應(yīng)提升。
第三步:撰寫測試報(bào)告
整個(gè)測試環(huán)節(jié)通常只有2-3位工作人員,如果希望能和團(tuán)隊(duì)一起分享測試的收獲,建議整理一份總結(jié)報(bào)告??梢允褂脀ord或者ppt形式,說明測試背景、測試用戶信息、主要結(jié)論、發(fā)現(xiàn)的問題、以及解決問題的行動(dòng)項(xiàng)。
05 總結(jié)升級
經(jīng)過幾場頗具收獲的工具型產(chǎn)品的可用性測試之后,我做了一些總結(jié),希望能夠形成適應(yīng)于工具型產(chǎn)品的可用性測試體系:
(1)目的性
工具型產(chǎn)品的可用性測試目的比較統(tǒng)一:幫助團(tuán)隊(duì)優(yōu)化體驗(yàn)路徑;幫助團(tuán)隊(duì)明確用戶使用產(chǎn)品時(shí)的體驗(yàn)感受;幫助設(shè)計(jì)師驗(yàn)證設(shè)計(jì)指標(biāo)。
(2)專業(yè)性
完整的可用性測試全程都需要專業(yè)支撐,從籌備到進(jìn)行,從任務(wù)到結(jié)果,每一個(gè)細(xì)節(jié)都需要考慮到位。在這過程中我們要盡量保證:流程規(guī)劃清晰;文檔整理完整;分工明確到位。
(3)參與性
大多數(shù)可用性測試是用戶體驗(yàn)相關(guān)崗位人員發(fā)起,但是用戶對于產(chǎn)品的反饋與團(tuán)隊(duì)每位成員息息相關(guān),所以建議團(tuán)隊(duì)共同參與。比如在這次可用性測試中,就邀請了產(chǎn)品經(jīng)理和研發(fā)人員擔(dān)當(dāng)觀察員或主持人;邀請用研人員給予專業(yè)指導(dǎo)培訓(xùn);在對測試反饋的問題進(jìn)行優(yōu)化過程中,也是團(tuán)隊(duì)通力合作,推進(jìn)迭代快速進(jìn)行。
(4)周期性
可用性測試不是進(jìn)行一次就結(jié)束的一場表演。而是結(jié)合產(chǎn)品進(jìn)展情況,可持續(xù)實(shí)施的一種有效的快速驗(yàn)證方式。
可以在新產(chǎn)品上線后進(jìn)行,可以在重要功能上線前進(jìn)行,也可以在迭代優(yōu)化后進(jìn)行。建議周期性進(jìn)行可用性測試,取得一些結(jié)果后立即應(yīng)用于產(chǎn)品,隔段時(shí)間再次驗(yàn)證,形成良性循環(huán)。亦趨近于精益用戶體驗(yàn)中倡導(dǎo)的基本MVP理念。
當(dāng)然,每次可用性測試都需要工作人員投入大量時(shí)間和精力,所以專業(yè)賦能可以成為很好的解決方案。即團(tuán)隊(duì)成員可以學(xué)習(xí)使用該方法,輪流進(jìn)行周期性操作。
06 寫在最后
我們?nèi)粘F鋵?shí)接觸并積累了大量專業(yè)方法,可用性測試只是其中一種。在不斷實(shí)踐的過程中才能真正體會到這些方法的魅力之處,在不斷落地的過程中才能打磨自身的方法論體系,形成屬于自己的一套打法,給產(chǎn)品設(shè)計(jì)帶來新穎的專業(yè)思路。
作者:懷瑾;公眾號:酷家樂用戶體驗(yàn)設(shè)計(jì),歡迎關(guān)注,交流探討。
本文由 @酷家樂用戶體驗(yàn)設(shè)計(jì) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Unsplash,基于 CC0 協(xié)議
請問工具類產(chǎn)品的可用性測試與有其他產(chǎn)品可用性測試的區(qū)別是什么?
操作反饋
看過后有啟發(fā)
很受教
很好