【B端用研】你連場(chǎng)景自助測(cè)試都不做,體驗(yàn)怎么會(huì)好的了?
可用性測(cè)試是產(chǎn)品經(jīng)理做調(diào)研時(shí)非常有用的方法,在B端也非常有效。這篇文章,作者通過(guò)一個(gè)案例詳細(xì)講解了其中的「場(chǎng)景自助測(cè)試」,主要解決的正是產(chǎn)品難用、初次體驗(yàn)不佳或是缺乏引導(dǎo)設(shè)計(jì)等主要問(wèn)題。
作為一名ToB的設(shè)計(jì)師,你是否有遇到過(guò)以下這些問(wèn)題;
- 明明設(shè)計(jì)都遵循了用戶(hù)體驗(yàn)設(shè)計(jì)的原則或是業(yè)務(wù)背景,但是用戶(hù)依舊反饋不好用或不直觀。
- 功能邏輯明明沒(méi)問(wèn)題,結(jié)構(gòu)也不復(fù)雜,但是客戶(hù)用不明白,跟預(yù)期完全不是一回事兒。
- 界面結(jié)構(gòu)跟視覺(jué)設(shè)計(jì)明明看著還不賴(lài),但用戶(hù)就是找不準(zhǔn)流程線路,跟預(yù)期路線不一致。
- 用戶(hù)注冊(cè)產(chǎn)品后無(wú)從下手,無(wú)法獨(dú)自走通關(guān)鍵業(yè)務(wù)功能,初體驗(yàn)不順暢還略帶受挫導(dǎo)致流失。
- 用戶(hù)反饋不好用卻又說(shuō)不清楚哪里有問(wèn)題,不曉得是性能問(wèn)題還是特定需求未滿(mǎn)足?
當(dāng)然了,也不僅限于上面這些問(wèn)題,但是如果遇到了,或許你可以在此篇文章中找到一些答案。
一、認(rèn)識(shí)場(chǎng)景自助測(cè)試
1. 起源
源于“可用性測(cè)試”的一個(gè)細(xì)分延展應(yīng)用,微型使用性測(cè)試也是可用性測(cè)試的一種細(xì)分延展應(yīng)用,個(gè)人學(xué)習(xí)和了解可用性測(cè)試是在2017年從一本叫做《洞察用戶(hù)體驗(yàn)》的書(shū)中習(xí)得,就下圖里這本厚厚破破的書(shū)里。
在過(guò)去的這么多年里,可用性測(cè)試不僅我個(gè)人在用,在整個(gè)行業(yè)里也已經(jīng)被廣泛接受和應(yīng)用,其效用價(jià)值還是可靠的,而作為細(xì)分延展出的場(chǎng)景自助測(cè)試,在我投身B端業(yè)務(wù)后,也是圍繞產(chǎn)品目標(biāo)參與發(fā)起很多次了,所以這次結(jié)合自身體會(huì)給大家安利一下,對(duì)了,可能其他團(tuán)隊(duì)或公司對(duì)此工具的叫法會(huì)不一樣,但這不影響我們學(xué)習(xí)掌握。
2. 概念
場(chǎng)景自助測(cè)試主要是觀測(cè)用戶(hù)如何根據(jù)任務(wù)訴求自助應(yīng)用產(chǎn)品來(lái)完成某項(xiàng)工作,這個(gè)過(guò)程中可以清晰的看到某個(gè)業(yè)務(wù)場(chǎng)景下產(chǎn)品是否容易上手,以及哪些部分阻礙了用戶(hù)或需要進(jìn)一步引導(dǎo),當(dāng)具備多組測(cè)試數(shù)據(jù)時(shí)就可以計(jì)算出用戶(hù)自助完成的概率,那么就可以根據(jù)產(chǎn)品情況制定一個(gè)目標(biāo)分,當(dāng)優(yōu)化后的測(cè)試結(jié)果滿(mǎn)足目標(biāo)分以后,產(chǎn)品的自助性與體驗(yàn)就會(huì)再上升一個(gè)門(mén)檻。
3. 價(jià)值
通過(guò)用戶(hù)來(lái)找到產(chǎn)品的問(wèn)題,驗(yàn)證設(shè)計(jì)是否符合用戶(hù)預(yù)期,指引設(shè)計(jì)者將復(fù)雜產(chǎn)品簡(jiǎn)單化,完善產(chǎn)品的自助引導(dǎo)設(shè)計(jì),提升用戶(hù)自主解決問(wèn)題的能力,以減少人工支持的開(kāi)支,同時(shí)獲取一定的用戶(hù)意見(jiàn)或市場(chǎng)訊息。
4. 原則
所謂的以用戶(hù)為中心原則,基本上就是還原真實(shí)環(huán)境下以用戶(hù)為主導(dǎo)的使用效果,注重?cái)?shù)據(jù)驅(qū)動(dòng)與場(chǎng)景化分析,同時(shí)屬于持續(xù)性迭代測(cè)試任務(wù),當(dāng)測(cè)試出一波問(wèn)題后還需要進(jìn)行改進(jìn)后的版本測(cè)試回歸,并保證自助通過(guò)的概率符合產(chǎn)品難度預(yù)期。
5. 優(yōu)勢(shì)
- 用戶(hù)自主性高:相比傳統(tǒng)可用性測(cè)試,場(chǎng)景自助測(cè)試有更多的用戶(hù)自主性,同樣是基于任務(wù)導(dǎo)向,但人為的引導(dǎo)干涉或過(guò)于詳細(xì)的任務(wù)書(shū)引導(dǎo)會(huì)更少,用戶(hù)會(huì)更放松,參與度也會(huì)更高。
- 廣泛的用戶(hù)群:覆蓋的用戶(hù)群體可以更廣泛,不用局限在典型或是資深用戶(hù),并且數(shù)量上也可以更加靈活,只要有一定的產(chǎn)品業(yè)務(wù)認(rèn)知,且不是對(duì)應(yīng)產(chǎn)品的研發(fā)設(shè)計(jì)相關(guān)人員即可。
- 更低的成本投入:基于限定的場(chǎng)景目標(biāo),通常任務(wù)體量不會(huì)很大,加上對(duì)于測(cè)試環(huán)境、測(cè)試設(shè)備、專(zhuān)業(yè)度要求也更低,并且招募群體更廣泛,招募成本以及時(shí)間或金錢(qián)要求都會(huì)相應(yīng)減少。
- 有效的反饋:與功能測(cè)試不同,場(chǎng)景自助測(cè)試是要求非產(chǎn)品研發(fā)人員以某些業(yè)務(wù)目標(biāo)展開(kāi)的測(cè)試,可以觀察到通常情況下的用戶(hù)自助應(yīng)用的情況,能夠?yàn)槲覀兲峁┛尚徘艺鎸?shí)有效的反饋。
- 持續(xù)性驗(yàn)證:一般每一輪的場(chǎng)景自助測(cè)試完成后,都會(huì)根據(jù)收集到的數(shù)據(jù)來(lái)制定一個(gè)優(yōu)化目標(biāo),并根據(jù)測(cè)試反饋對(duì)產(chǎn)品任務(wù)線路進(jìn)行一輪優(yōu)化過(guò)后,還會(huì)再次的測(cè)試并檢驗(yàn)優(yōu)化目標(biāo)是否達(dá)標(biāo)。
- 上手更容易:綜上所述,你會(huì)發(fā)現(xiàn)場(chǎng)景自助測(cè)試的實(shí)施門(mén)檻較低,測(cè)試用戶(hù)也比較好找,投入少見(jiàn)效快靈活高,可以幫助設(shè)計(jì)師獲取真實(shí)的用戶(hù)之聲,找到產(chǎn)品難上手不好用的問(wèn)題根因。
二、ToB+場(chǎng)景自助測(cè)試=如虎添翼
B端產(chǎn)品更工具化,通常圍繞特定行業(yè)的業(yè)務(wù)流程展開(kāi),客戶(hù)群體和業(yè)務(wù)流程都遵循著某些規(guī)范或標(biāo)準(zhǔn),這些特性使得場(chǎng)景自助測(cè)試會(huì)很適用。另外那些已經(jīng)上線和具備一定用戶(hù)量的產(chǎn)品,特別是對(duì)于那些高度依賴(lài)用戶(hù)自助服務(wù)的企業(yè)來(lái)說(shuō),提升自助率不僅可以直接降低客戶(hù)服務(wù)成本,還能有效增強(qiáng)客戶(hù)滿(mǎn)意度,實(shí)現(xiàn)雙贏的效果。
同時(shí)B端產(chǎn)品具備復(fù)雜的功能體系與交互場(chǎng)景,學(xué)習(xí)門(mén)檻往往較高,如果不能提供友好的易用性或引導(dǎo)幫助,那些沒(méi)有經(jīng)過(guò)培訓(xùn)學(xué)習(xí)的用戶(hù)是很難通過(guò)產(chǎn)品自助展開(kāi)工作的,變相的也會(huì)形成更多的人工支持成本。
另外當(dāng)你的產(chǎn)品沒(méi)有靠譜的引導(dǎo)設(shè)計(jì)或是自助完成率不高時(shí),這是一個(gè)危險(xiǎn)的信號(hào),根據(jù)我們的真實(shí)經(jīng)驗(yàn),如果你的產(chǎn)品在價(jià)格或是售前培訓(xùn)、技術(shù)支持等方面沒(méi)有優(yōu)勢(shì)的情況下,新客戶(hù)流失率或付費(fèi)開(kāi)通率也會(huì)不理想,其原因在于新客戶(hù)初次體驗(yàn)產(chǎn)品時(shí),不能順暢的走完核心流程而感到受挫甚至質(zhì)疑產(chǎn)品,這時(shí)候客戶(hù)大概率會(huì)去挑選其他更好用的競(jìng)品,畢竟對(duì)于公司來(lái)說(shuō),工具的快速上手或減少不必要的培訓(xùn)學(xué)習(xí)成本也是很重要的。
那么回到場(chǎng)景自助測(cè)試,主要解決的正是產(chǎn)品難用、初次體驗(yàn)不佳或是缺乏引導(dǎo)設(shè)計(jì)等主要問(wèn)題,如此看來(lái)“ToB+場(chǎng)景自助測(cè)試=如虎添翼”這個(gè)公式便通俗易懂了。
三、實(shí)施步驟與注意事項(xiàng)
1. 實(shí)施步驟簡(jiǎn)述
秉持著越簡(jiǎn)單越實(shí)用的理念,我將整個(gè)實(shí)施步驟概括為“場(chǎng)景自助測(cè)試六連搞”;
- 為什么要搞?——〉測(cè)試目標(biāo)或指標(biāo)是什么?
- 搞那些?——〉圍繞目標(biāo)的流程范圍是哪些?
- 找誰(shuí)搞?——〉測(cè)試對(duì)象的基本要求與日程邀約?
- 搞咋樣?——〉記錄和觀察測(cè)試的過(guò)程
- 哪沒(méi)搞好?——〉結(jié)果分析與問(wèn)題整理
- 怎么搞好?——〉制定方案與迭代計(jì)劃
這里不用糾結(jié)更細(xì)致的步驟或是模版,你就按照上面的問(wèn)題把你對(duì)應(yīng)的答案填進(jìn)去都可以,焦點(diǎn)在于測(cè)試的過(guò)程與問(wèn)題復(fù)盤(pán)規(guī)劃,當(dāng)然,后面會(huì)給出一些案例與模版。
2. 不同步驟里的注意事項(xiàng)
1)為什么要搞?
首先確保產(chǎn)品的特性與發(fā)展階段適合發(fā)起場(chǎng)景自助測(cè)試,即產(chǎn)品偏向功能性,有一些復(fù)雜或者專(zhuān)業(yè)門(mén)檻,有更加定向的流程任務(wù),同時(shí)屬于有一定用戶(hù)體量的發(fā)展型產(chǎn)品。
然后場(chǎng)景自助測(cè)試本身是關(guān)注的某些特定場(chǎng)景下,用戶(hù)是否能夠順暢地自助完成一系列相關(guān)聯(lián)的操作任務(wù),所以要考慮這些任務(wù)的測(cè)試優(yōu)化,是不是能夠?qū)χ苯佑绊懞诵臉I(yè)務(wù)流程或是能減少企業(yè)對(duì)人力等資源的投入。
至于發(fā)起的狀態(tài)可以是基于體驗(yàn)優(yōu)化目標(biāo)、新功能上線、功能改版、優(yōu)化點(diǎn)洞察、場(chǎng)景自助分檢驗(yàn)等等。
2)搞那些?
有了目標(biāo)或是指標(biāo)后,接著就是制定好對(duì)應(yīng)的流程范圍或者說(shuō)測(cè)試模塊,盡量不要搞得太復(fù)雜,并且有多個(gè)任務(wù)節(jié)點(diǎn)時(shí),要緊靠一條核心線路,任務(wù)線路不易過(guò)于分散。
制定大致的任務(wù)書(shū)或測(cè)試材料,提供給測(cè)試者的任務(wù)書(shū)不用很細(xì)致,給出一個(gè)貼合場(chǎng)景任務(wù)的目標(biāo),并標(biāo)記出流程中幾個(gè)主要的事件階段即可;
例如我們根據(jù)政策要求上線了“賬戶(hù)注銷(xiāo)”,那么測(cè)試目標(biāo)就可以是因?yàn)槭裁词聸Q定將平臺(tái)的賬戶(hù)注銷(xiāo),而事件階段則可以視情況拆分為;
1. 進(jìn)入個(gè)人賬戶(hù)中心、
2. 找到注銷(xiāo)入口、
3. 瀏覽和同意注銷(xiāo)知情書(shū)、
4. 提交注銷(xiāo)信息、
5. 確認(rèn)和退出賬戶(hù)。
測(cè)試材料部分主要是便于我們自己發(fā)起和記錄測(cè)試過(guò)程的腳本,里面通常會(huì)記錄一些話術(shù)、測(cè)試計(jì)劃、任務(wù)流程簡(jiǎn)圖、對(duì)應(yīng)任務(wù)目標(biāo)的事件階段表格、以及整理問(wèn)題相關(guān)的表單為主,不過(guò)不用擔(dān)心,后面你會(huì)看到案例與簡(jiǎn)單易懂的模版。
3)找誰(shuí)搞?
首先你不用糾結(jié)對(duì)方是不是典型或是資深用戶(hù),最基礎(chǔ)的是保障行業(yè)對(duì)口,起碼要對(duì)相應(yīng)的業(yè)務(wù)流程有一定的認(rèn)知,打個(gè)比方我們做一款開(kāi)發(fā)者流程管理工具,那我們招募的用戶(hù)一定不能是一個(gè)對(duì)產(chǎn)品研發(fā)流程一竅不通的用戶(hù)。
接著對(duì)應(yīng)到不同的流程場(chǎng)景,我們可以清晰的知道,一般是一些什么職能的角色會(huì)用,這些條件是需要符合的,至于對(duì)方是陌生人、同學(xué)、同事、朋友就不那么重要了,人數(shù)上基本上采用≧5即可,人越多自助通過(guò)率數(shù)據(jù)越精準(zhǔn)。
考慮到重點(diǎn)關(guān)注的是產(chǎn)品上手與核心功能的自助情況洞察時(shí),你可以關(guān)注一下對(duì)方是否有用過(guò)或了解過(guò)我們的產(chǎn)品,以及之前有多久沒(méi)有使用過(guò)我們的產(chǎn)品了,這次是否能夠測(cè)出新的發(fā)現(xiàn)。
最后則是發(fā)起邀約,不論是問(wèn)卷、線上留言、電話邀約都好,總之確認(rèn)哪些人可以抽出一些時(shí)間參加測(cè)試,把測(cè)試的時(shí)間、地點(diǎn)、參與方式(線上or線下)、獎(jiǎng)品信息等記錄好,并如期推進(jìn)。
在邀約時(shí),一定要簡(jiǎn)要說(shuō)清你是誰(shuí)?要做什么?有什么回報(bào)?以及告知沒(méi)有什么難度,也不會(huì)占用太久的時(shí)間,只是做一下產(chǎn)品體驗(yàn)官幫助檢驗(yàn)產(chǎn)品體驗(yàn)如何,不要讓對(duì)方覺(jué)得很困難或很麻煩,這很重要。
4)搞咋樣?
到場(chǎng)后先把一些必要工作準(zhǔn)備好,比如測(cè)試的設(shè)備、軟件或是賬號(hào)資料、測(cè)試環(huán)境、測(cè)試記錄的紙質(zhì)表單跟筆的檢查等,為了更好的跟蹤整個(gè)測(cè)試的過(guò)程以及后續(xù)的復(fù)盤(pán)整理,所有在電腦或手機(jī)上進(jìn)行的測(cè)試,可以提前準(zhǔn)備好音視頻錄制軟件,例如常用的視頻會(huì)議的錄制功能。
測(cè)試前可以先寒暄一下,可以遞上一杯水、聊聊天氣、出行啥的,通過(guò)彼此的簡(jiǎn)單互動(dòng)減少緊張的氣氛,然后將測(cè)試的目標(biāo)、任務(wù)與材料分發(fā)下去,并宣讀介紹一下此次的測(cè)試任務(wù),可以著重說(shuō)一下此次測(cè)試主要是根據(jù)任務(wù)目標(biāo)自主進(jìn)行,如果遇到問(wèn)題可以放緩節(jié)奏,多看看界面的信息與功能,并根據(jù)自己的認(rèn)知與直覺(jué)進(jìn)行下一步,另外遇到問(wèn)題時(shí),最好能夠口述出疑問(wèn)是什么,你準(zhǔn)備怎么應(yīng)付,便于觀測(cè)者了解測(cè)試者心里的想法。
當(dāng)確認(rèn)測(cè)試前準(zhǔn)備沒(méi)有問(wèn)題后,就可以告知和開(kāi)啟屏幕錄制并進(jìn)行測(cè)試了,而你要做的就是在一旁安靜的觀察,做對(duì)方的傾聽(tīng)者,并在表單上記錄好測(cè)試者在各個(gè)任務(wù)節(jié)點(diǎn)上的表現(xiàn)與結(jié)果,是否在某個(gè)節(jié)點(diǎn)上卡住而完全不能進(jìn)行下去。
關(guān)于是否要對(duì)測(cè)試者的卡點(diǎn)進(jìn)行干涉,你需要明確以下幾點(diǎn);
- 首先是不是已經(jīng)達(dá)到了測(cè)試的目的,確認(rèn)了用戶(hù)自主使用時(shí)的磕磕絆絆或無(wú)法通過(guò)了,如果是就可以盡早結(jié)束不用干涉了;
- 如果此次測(cè)試的任階段比較豐富或涉及多個(gè)模塊,那么你記錄好測(cè)試者的卡點(diǎn)情況后,就可以引導(dǎo)至下一個(gè)節(jié)點(diǎn),以完成后續(xù)階段或模塊的卡點(diǎn)洞察。
記錄問(wèn)題,在測(cè)試過(guò)程中,用戶(hù)遇到問(wèn)題或卡住相應(yīng)的在任務(wù)列表中進(jìn)行記錄,并將測(cè)試者的反饋簡(jiǎn)要備注。
測(cè)試結(jié)束時(shí),可以根據(jù)記錄的問(wèn)題,與測(cè)試者延展性的聊聊感受與預(yù)期,查缺補(bǔ)漏一下,通常這時(shí)候測(cè)試者是很愿意吐槽的,借此機(jī)會(huì),你還可以延展一些問(wèn)題,例如競(jìng)品偏好、個(gè)人習(xí)慣、對(duì)未來(lái)有何建議等,也可以酌情考慮跟可用性測(cè)試一樣做任務(wù)后評(píng)估問(wèn)卷(ASQ)、系統(tǒng)可用性問(wèn)卷(SUS)或是用戶(hù)滿(mǎn)意度問(wèn)卷,不過(guò)我們一般都是問(wèn)一些想要了解的問(wèn)題,不愛(ài)做這些測(cè)試后問(wèn)卷調(diào)查~
5)哪沒(méi)搞好?
重點(diǎn)是那些直接造成卡點(diǎn)的問(wèn)題,這些問(wèn)題意味著直接中斷了核心任務(wù)的進(jìn)程,導(dǎo)致用戶(hù)無(wú)法自助使用產(chǎn)品完成任務(wù),這種時(shí)候就很可能造成用戶(hù)流失或需要提供技術(shù)支持,所以屬于關(guān)注重點(diǎn)。
然后就是磕磕絆絆的問(wèn)題,即用戶(hù)花費(fèi)了些時(shí)間精力才勉強(qiáng)完成的任務(wù),這些問(wèn)題說(shuō)明了布局結(jié)構(gòu)、文案信息、交互方式等方面還存在著明顯的提升空間,當(dāng)然因?yàn)榧夹g(shù)原因?qū)е碌目D、緩慢也不容忽視。
最后則是測(cè)試者的吐槽與建議,如果在測(cè)試結(jié)束后做了些小訪談,那么對(duì)應(yīng)提問(wèn)的問(wèn)題一定會(huì)有一些收獲,其次用戶(hù)在吐槽哪些功能不好用之余也會(huì)給出原因或是建議,都是可以適當(dāng)聽(tīng)取的。
問(wèn)題歸檔,結(jié)合測(cè)試者的表現(xiàn)與反饋將磕磕絆絆的問(wèn)題完善到測(cè)試任務(wù)列表中,并且可以根據(jù)視覺(jué)、交互、產(chǎn)品邏輯、技術(shù)支持、功能滿(mǎn)足等標(biāo)簽進(jìn)行標(biāo)記,以便于后續(xù)的整理歸類(lèi)。
通過(guò)率計(jì)算一般分兩個(gè)維度,一是單個(gè)用戶(hù)在整套任務(wù)中,能夠自助完成的任務(wù)比例。然后就是統(tǒng)計(jì)所有測(cè)試者中能夠自助完成全套任務(wù)的人數(shù)比例,后者代表了場(chǎng)景自助的通過(guò)率,可以結(jié)合任務(wù)的復(fù)雜程度與技術(shù)支持的程度,預(yù)設(shè)一個(gè)更高的通過(guò)率作為下次的優(yōu)化目標(biāo),如果你期望你的產(chǎn)品擁有更好的用戶(hù)自助表現(xiàn),那么可以給出一個(gè)較高的目標(biāo)分,并根據(jù)研發(fā)里程分成多個(gè)階段逐步上分。但如果你的產(chǎn)品確實(shí)比較復(fù)雜或?qū)I(yè),就沒(méi)必要大范圍的追求普遍的高通過(guò)率了,還不如多想想怎么提供更多的教程或引導(dǎo)資料。
6)怎么搞好?
- 問(wèn)題分析:把測(cè)試出的問(wèn)題進(jìn)行整合去重,把問(wèn)題的重要性、影響性、優(yōu)先級(jí)信息進(jìn)行初步完善,以及根據(jù)問(wèn)題情況將引起流程卡點(diǎn)或阻礙的原因進(jìn)行說(shuō)明,如果有相關(guān)的埋點(diǎn)數(shù)據(jù)或用戶(hù)行為報(bào)表可以結(jié)合起來(lái)一起分析,以彌補(bǔ)測(cè)試采樣有限的不足。
- 團(tuán)隊(duì)溝通:將洞察的問(wèn)題進(jìn)行及時(shí)的同步,便于大家清晰的看到產(chǎn)品存在的問(wèn)題,建立共同目標(biāo)并強(qiáng)化協(xié)作,并借助團(tuán)隊(duì)的集思廣益將問(wèn)題進(jìn)行整理完善,其中主要包括了問(wèn)題的解決方案、優(yōu)先級(jí)、責(zé)任分工等。
- 分工排期:當(dāng)問(wèn)題基本整理完成,就可以根據(jù)優(yōu)先級(jí)或是重要程度,將問(wèn)題分批,并拉上主要的PD、開(kāi)發(fā)、測(cè)試相關(guān)人員進(jìn)行一輪初步的排期計(jì)劃,并協(xié)同分工,例如代碼優(yōu)化跟交互設(shè)計(jì)優(yōu)化就可以考慮并行開(kāi)始減少工期,當(dāng)然也可以將問(wèn)題逐個(gè)擊破。
- 制定下個(gè)通過(guò)率目標(biāo):說(shuō)句廢話就是“既要體現(xiàn)優(yōu)化的決心,又要確保目標(biāo)的可行性”,不同產(chǎn)品的復(fù)雜性有差異,沒(méi)有一個(gè)標(biāo)準(zhǔn)答案。在我的認(rèn)知里,測(cè)試者的采樣越多,自助測(cè)試的通過(guò)率越準(zhǔn)確,且越往后優(yōu)化,分值越難提升,個(gè)人意見(jiàn)是將當(dāng)前通過(guò)率加上剩下不通過(guò)的一半取整后作為下一個(gè)目標(biāo)分,例如當(dāng)前通過(guò)率是60%,則目標(biāo)分就是60%+(40%的一半)=80%,若整體優(yōu)化難度比較大,則可以將整個(gè)目標(biāo)分期執(zhí)行,第二次的整體的通過(guò)率出來(lái)后,也可以結(jié)合起來(lái)對(duì)目標(biāo)通過(guò)率進(jìn)行微調(diào)。
四、應(yīng)用案例
1. 背景簡(jiǎn)述
內(nèi)部項(xiàng)目不方便公開(kāi),這里引入一個(gè)類(lèi)似的研發(fā)效能產(chǎn)品進(jìn)行講解學(xué)習(xí)。
主要是針對(duì)華為云的研發(fā)管理工具的場(chǎng)景自助測(cè)試,檢驗(yàn)作為最基礎(chǔ)且免費(fèi)的項(xiàng)目需求管理工具自助體驗(yàn)如何,是否能夠讓用戶(hù)快速上手,為后續(xù)的更多云服務(wù)開(kāi)通或嘗試做好鋪墊,其中參與測(cè)試的采樣做了縮減以及一些相關(guān)信息脫敏處理,不過(guò)不影響整體的方法應(yīng)用學(xué)習(xí)哈,那么,咱們開(kāi)始本次的場(chǎng)景自助測(cè)試。
2. 測(cè)試目標(biāo)
用戶(hù)是否可以根據(jù)訴求快速創(chuàng)建一個(gè)基礎(chǔ)的項(xiàng)目需求看板,創(chuàng)建后是否可以快速上手需求管理面板,并自主的創(chuàng)建或編輯相關(guān)需求,以驗(yàn)證項(xiàng)目需求管理部分的場(chǎng)景自助率如何?是否能夠滿(mǎn)足用戶(hù)的基本訴求以留住用戶(hù),并引導(dǎo)用戶(hù)試用和開(kāi)通更多的其他研發(fā)增效工具。
3. 任務(wù)范圍
測(cè)試產(chǎn)品:華為云研發(fā)效能工具核心模塊:項(xiàng)目需求管理關(guān)聯(lián)模塊:登錄注冊(cè)、項(xiàng)目管理、需求看板創(chuàng)建、需求屬性配置、項(xiàng)目需求管理任務(wù)流程說(shuō)明:以賬戶(hù)登錄為起點(diǎn),歷經(jīng)項(xiàng)目創(chuàng)建到需求屬性配置、項(xiàng)目需求創(chuàng)建管理與流程狀態(tài)扭轉(zhuǎn)為主
4. 邀測(cè)對(duì)象
此處的要求需要根據(jù)不同平臺(tái)產(chǎn)品的特征來(lái)做調(diào)整,以下是針對(duì)本次測(cè)試案例的測(cè)試者要求情況;
5. 邀請(qǐng)方法
內(nèi)部邀請(qǐng)
內(nèi)部招募還是比較簡(jiǎn)單的,例如跨項(xiàng)目組、跨業(yè)務(wù)線、是比較容易招到人的,只要按照測(cè)試計(jì)劃說(shuō)明測(cè)試的背景跟獎(jiǎng)勵(lì)信息即可,可以建立合作關(guān)系,以后互相協(xié)助測(cè)試,同時(shí)提出是為了公司的整理利益發(fā)展,然后當(dāng)對(duì)方有意愿參與測(cè)試后,就可以根據(jù)測(cè)試的周期與對(duì)方約定詳細(xì)的測(cè)試地點(diǎn)、時(shí)間日程等信息了。
外部招募
相比于內(nèi)部邀請(qǐng),對(duì)外邀請(qǐng)需要準(zhǔn)備的工作會(huì)更多一些,出了說(shuō)明我們是誰(shuí)?需要做什么?有什么回報(bào)、占用時(shí)長(zhǎng)或難度情況以外,還要明確告知符合參與的條件,要準(zhǔn)備簡(jiǎn)易的知情協(xié)議,如果項(xiàng)目還未上線,可能還要準(zhǔn)備保密協(xié)議相關(guān),至于怎么寫(xiě)這些協(xié)議,在網(wǎng)上找模板套用后打印出來(lái)等待用戶(hù)簽字即可。
招募渠道
此外招募的方式有兩大類(lèi),一類(lèi)是通過(guò)線上用戶(hù)的數(shù)據(jù)層層篩選,然后面向合格用戶(hù)進(jìn)行短信或是電話邀約。第二類(lèi)則是通過(guò)發(fā)布招募信息,等待用戶(hù)主動(dòng)申請(qǐng),如果是要進(jìn)行線下測(cè)試記得不要遺漏了詳細(xì)地址或出行指南。然后發(fā)到產(chǎn)品平臺(tái)的論壇、產(chǎn)品的答疑群、一些開(kāi)放的IT技術(shù)交流群、技術(shù)型貼吧等都是可以的,以下是一份其他公司所發(fā)布的測(cè)試招募海報(bào),信息已脫敏,可以參考以下;
參與獎(jiǎng)品
具體看公司的預(yù)算來(lái)準(zhǔn)備禮品即可,例如一些生活用品、平臺(tái)周邊、或是現(xiàn)金紅包等等,內(nèi)部招募的話,甚至是簡(jiǎn)單的一次下午茶、一杯奶茶都可以。
日程安排
基本信息就是確認(rèn)什么人、在什么時(shí)間、什么地點(diǎn)、如何參與測(cè)試,像測(cè)試的會(huì)議室或空間等不是一開(kāi)始就確認(rèn)好的,那就需要在確認(rèn)好后及時(shí)與測(cè)試人進(jìn)行同步,除此之外還可以將參與者的一些與測(cè)試相關(guān)的信息進(jìn)行記錄或備注,后續(xù)可以作為一個(gè)簡(jiǎn)單的用戶(hù)畫(huà)像使用;
(注: 以下均為脫敏后的化名)
測(cè)試材料準(zhǔn)備
任務(wù)書(shū)
記錄表
記錄表主要是便于我們測(cè)試時(shí),記錄核心流程下,每個(gè)操作節(jié)點(diǎn)下的用戶(hù)反饋或結(jié)果,所以會(huì)比任務(wù)書(shū)更詳細(xì)一些,這樣我們才能夠記錄下更詳細(xì)的測(cè)試數(shù)據(jù),便于分析整理,通常記錄表由細(xì)化的操作節(jié)點(diǎn)、序號(hào)、測(cè)試結(jié)果、反饋記錄等信息構(gòu)成,以下為本次測(cè)試所用的記錄表電子版可供參考,實(shí)際測(cè)試前,我們會(huì)打印出來(lái)手動(dòng)記錄測(cè)試信息:
訪談問(wèn)題
訪談問(wèn)題是針對(duì)場(chǎng)景自助測(cè)試之外的一些補(bǔ)充問(wèn)題,或整體感受評(píng)估,一般由一些特定的產(chǎn)品體驗(yàn)問(wèn)題或是SUS系統(tǒng)可用性問(wèn)卷構(gòu)成。
針對(duì)本次的測(cè)試任務(wù),我們提出了以下問(wèn)題來(lái)幫助我們獲取更多有用的信息來(lái)幫助產(chǎn)品提升場(chǎng)景自助率。
場(chǎng)景自助測(cè)試腳本
就是提前做好測(cè)試攻略,將測(cè)試安排、話術(shù)、注意事項(xiàng)提前預(yù)備好,方便開(kāi)展過(guò)程隨時(shí)參考或是預(yù)先彩排用。
測(cè)試設(shè)備準(zhǔn)備
不同平臺(tái)產(chǎn)品的測(cè)試任務(wù),對(duì)測(cè)試設(shè)備、版本、環(huán)境、賬戶(hù)、權(quán)限等均有差異,所以在測(cè)試前需要提前了解情況或做好相關(guān)準(zhǔn)備,以減少測(cè)試過(guò)程的差錯(cuò),對(duì)此你可以參考以下表格自檢;
進(jìn)行測(cè)試
- 根據(jù)約定的日程安排場(chǎng)景自助測(cè)試,并按照提前準(zhǔn)備的測(cè)試腳本或彩排開(kāi)展起來(lái)。
- 【針對(duì)本次測(cè)試】考慮到任務(wù)體量不大,我們預(yù)期讓測(cè)試人將把全部任務(wù)走完,若期間測(cè)試人確認(rèn)卡點(diǎn)了,則引導(dǎo)測(cè)試人通過(guò)卡點(diǎn)任務(wù)繼續(xù)后續(xù)的任務(wù)測(cè)試,其他情況則基本不做干涉,由用戶(hù)自主進(jìn)行;
場(chǎng)景通過(guò)率
通過(guò)率計(jì)算
※通過(guò)率說(shuō)明:即計(jì)算不能自助完成測(cè)試人數(shù)占所有人數(shù)的占比
※場(chǎng)景自助通過(guò)率:4/5 = 80% (采樣人數(shù)5,自助通過(guò)測(cè)試人數(shù)4,通過(guò)率80%)
問(wèn)題分布統(tǒng)計(jì)
主要根據(jù)任務(wù)流程與操作項(xiàng)標(biāo)記出所有測(cè)試者的任務(wù)卡點(diǎn)情況、卡點(diǎn)重災(zāi)區(qū)節(jié)點(diǎn)、以及通過(guò)率或任務(wù)完成率情況,這些可以讓我們快速感知要關(guān)注的部分,以及全局概況。
問(wèn)題整理歸檔
主要是把此次測(cè)試的過(guò)程材料與相關(guān)問(wèn)題進(jìn)行線上整合,并存儲(chǔ)歸檔。
任務(wù)記錄表歸檔
以下為本次的任務(wù)記錄表,其中有記錄測(cè)試人俞洋反饋的部分問(wèn)題,整體就是圍繞多個(gè)測(cè)試人反饋,將問(wèn)題按照測(cè)試的任務(wù)流程記錄到表里并進(jìn)行概括性總結(jié),以下記錄表可做模版參考;
訪談問(wèn)題歸檔
主要是測(cè)試后的訪談問(wèn)題整理歸檔,結(jié)構(gòu)與以上任務(wù)記錄表相似,歸檔后可以將兩個(gè)表放在一起,以下訪談?dòng)涗洑w檔可做模版參考;
附件材料
將此次場(chǎng)景自助測(cè)試相關(guān)的材料放入對(duì)應(yīng)計(jì)劃下的知識(shí)庫(kù)或文件管理中,例如簽署材料、錄制文件等,你可以將這些信息與前面的問(wèn)題記錄整合在一個(gè)文檔中也可以;
(注: 以下均為脫敏后的化名)
分析總結(jié)
根據(jù)大致的任務(wù)階段與操作步驟,將問(wèn)題概括性的整理出來(lái),可以對(duì)問(wèn)題類(lèi)型、解決方案之類(lèi)的信息進(jìn)行初步的完善,然后經(jīng)過(guò)與項(xiàng)目成員的溝通探討后,就可以對(duì)優(yōu)先級(jí)、分工情況、排期計(jì)劃等信息進(jìn)行補(bǔ)充,當(dāng)然這些也可以由項(xiàng)目經(jīng)理或是產(chǎn)品經(jīng)理來(lái)接手推進(jìn),之后就是產(chǎn)品負(fù)責(zé)人創(chuàng)建優(yōu)化迭代與需求優(yōu)化推進(jìn)了。
經(jīng)過(guò)初步整理的問(wèn)題規(guī)劃表格可以參考如下,并且后續(xù)可以持續(xù)的維護(hù)優(yōu)化解決的進(jìn)度,當(dāng)然你也可以在此套表格的基礎(chǔ)上去做其他潤(rùn)色或變化,你覺(jué)得怎么好用怎么來(lái)吧,例如給重點(diǎn)部分加上色塊標(biāo)記等;
結(jié)語(yǔ)
以上就是我們經(jīng)常用作B端產(chǎn)品體驗(yàn)監(jiān)測(cè)與改善的洞察工具,從為什么要用,怎么用,應(yīng)用的案例參考模版基本上都在此篇中交代完了,不論你是項(xiàng)目經(jīng)理、產(chǎn)品經(jīng)理、或是設(shè)計(jì)師,我都建議你嘗試一下這套物美價(jià)廉的工具,絕對(duì)比憑借著經(jīng)驗(yàn)做出來(lái)的體驗(yàn)洞察與優(yōu)化更可靠,另外補(bǔ)充兩點(diǎn):
- 不同產(chǎn)品的訴求有差異,以上的案例模版需要自行辨別調(diào)整后用到自己的項(xiàng)目上,并且你也不必非的按照上面的模版完全復(fù)刻執(zhí)行,有其他更好的記錄方式或是配套工具,你可以靈活調(diào)用。
- 實(shí)際作業(yè)時(shí),不同職能的我們關(guān)注的信息或是階段流程都有差異,因此以上整套流程僅作參考,那些需要你關(guān)注或執(zhí)行,同樣的,你可以靈活操辦。
好了,碼字不易,歡迎點(diǎn)贊收藏,評(píng)論區(qū)留言互動(dòng)。
專(zhuān)欄作家
泡泡,人人都是產(chǎn)品經(jīng)理專(zhuān)欄作家。專(zhuān)注產(chǎn)品交互領(lǐng)域的體驗(yàn)設(shè)計(jì)師,擅長(zhǎng)思考和UI呈現(xiàn)設(shè)計(jì),喜愛(ài)交流探討~
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
這個(gè)不也是和傳統(tǒng)可用性測(cè)試那樣給用戶(hù)一個(gè)任務(wù),讓他去完成,觀察完成時(shí)間,還有使用過(guò)程的問(wèn)題么,不太理解他們的顯著區(qū)別在哪里,作者是否可以舉一個(gè)例子?
沒(méi)有特別顯著的差異,本身也是基于可用性測(cè)試進(jìn)行微調(diào)的一種應(yīng)用,如果說(shuō)可用性測(cè)試是期末大考,那么場(chǎng)景自助測(cè)試就是仿真考試,差異主要是場(chǎng)景自助更靈活一些,更專(zhuān)注于用戶(hù)自助完成任務(wù)的過(guò)程,更適合業(yè)務(wù)標(biāo)準(zhǔn)化或流程化的產(chǎn)品進(jìn)行測(cè)試驗(yàn)證。
和傳統(tǒng)可用性測(cè)試的區(qū)別是什么?
傳統(tǒng)可用性測(cè)試主要目的是評(píng)估軟件產(chǎn)品的可用性,包括可理解性、可學(xué)習(xí)性、可操作性、吸引力和合規(guī)性等方面。場(chǎng)景自助測(cè)試相比傳統(tǒng)可用性測(cè)試的門(mén)檻與成本投入更少,更專(zhuān)注的是用戶(hù)自主行為定性,更適用于流程化作業(yè)產(chǎn)品的上手引導(dǎo)、易用性相關(guān)分析,是使用性測(cè)試下的一個(gè)延展分支,應(yīng)用的場(chǎng)景跟目標(biāo)價(jià)值是有一些差異的,如果還是不理解,可以再看一下頭部的介紹說(shuō)明,或是添加VX探討