產(chǎn)品經(jīng)理干貨:可用性測試的那些事
可用性測試是指通過對典型用戶實施測試來對產(chǎn)品或服務做出評價。在一次典型的測試中,用戶要完成一系列典型任務。與此同時,觀察者會在一旁觀察、傾聽、做筆記。可用性測試的目的就是為了發(fā)現(xiàn)可用性問題,收集定性和定量的數(shù)據(jù),并評估用戶對產(chǎn)品的滿意度。
可用性測試的好處
可用性測試有助于設計和研發(fā)團隊在產(chǎn)品成型之前發(fā)現(xiàn)問題。問題發(fā)現(xiàn)和修正的越早,從工時和對日程的潛在影響來看,修正的代價就越小。可用性測試可以幫助你:
- 了解參與者能否順利完成特定任務
- 了解完成特定任務的時間
- 了解參與者對網(wǎng)站和其他產(chǎn)品的滿意度
- 找到為改善用戶表現(xiàn)和滿意度所需的改變
- 通過分析用戶表現(xiàn)來考察其是否滿足你的可用性目標
你不需要一個正式的實驗室
有效的可用性測試并不一定需要正式的實驗室。你可以在這些背景下實施:
- 由2-3個相連的房間改裝的實驗室,同時配備有錄音和視頻設備
- 配備有可攜帶錄制設備的房間
- 沒有錄制設備的房間沒關系,只要有人在觀察用戶并做筆記
- 遠程測試,用戶在不同的地方(有主持的或者沒主持的)
影響成本的因素
影響成本的因素有:
- 測試的類型
- 配備給測試的團隊規(guī)模
- 測試參與者的數(shù)量
- 測試的天數(shù)
記住要安排不止一次測試的預算。網(wǎng)站或其他產(chǎn)品的可用性設計是一個迭代的過程。
為可用性測試安排預算時要考慮下面的因素:
- 時間:你需要時間來計劃可用性測試。需要時間來讓可用性專家和團隊熟悉網(wǎng)站,試驗測試場景。確保為測試準備安排足夠的時間,當然還有實施測試、分析數(shù)據(jù)、撰寫報告和呈現(xiàn)結(jié)果的時間。
- 招募成本:要考慮你要怎樣和在哪里招募參與者。你要考慮到招募的工時以及讓招募公司按照你的要求招募被試的時間。
- 參與者報酬:如果你要為參與者的時間、旅費支付報償,那就將這些也考慮進預算。
- 租金成本:如果你沒有監(jiān)控或錄制設備,你需要為實驗室或其他設備支付租金,這也是預算的一部分。你可能需要保證一個測試的地點,比如一間會議室,這也是要考慮的。
制定測試計劃
計劃的目的就是記下你要做什么,你要如何實施測試,你要收集哪些測量數(shù)據(jù),測試多少參與者,以及使用的場景。
通常,可用性專家會和網(wǎng)站或產(chǎn)品的擁有者以及研發(fā)團隊的成員碰面,討論決定計劃的主要要素。然后,可用性專家會制定出計劃的初步方案,告訴管理者和團隊的其他成員。每個人發(fā)表自己的意見,并對最后的計劃達成一致,可用性專家會修改計劃來反映最后的決定。
測試計劃的要素
可用性計劃包括如下要素:
- 范圍:你要測試什么:給網(wǎng)站、網(wǎng)站應用、或其他產(chǎn)品取個名字。說明測試覆蓋的產(chǎn)品方面,例如,截止到某個日期的原型;導航;導航和內(nèi)容。
- 目標:確定測試的關注點、問題和目標。目標可能很寬泛,例如,“用戶從原型主頁的導航能夠定位到重要信息嗎?”也可能很具體,例如,“用戶能夠很容易地找到放在目前位置的搜索框嗎?”在每輪測試中,你肯定會有一些或?qū)挿夯蚓唧w的關注點。場景要依據(jù)你的關注點設置。
- 日程和地點:什么時候以及在哪測試。日程安排要詳細說明一天中有多少次的會談,每次會談的時間安排怎樣。
- 測試階段:每個測試階段的說明、時長(通常一個小時到90分鐘)。在安排參與者時,在測試階段之間通常要預留30分鐘的時間來重新布置環(huán)境,與觀察者簡單回顧討論這個測試階段,或者為測試階段推后或參與者遲到提供緩沖。
- 設備:說明設備的類型。臺式機、筆記本、手機或智能手機。如果與測試相關,也應包括顯示器的尺寸和分辨率,操作系統(tǒng),瀏覽器等。也要說明你計劃錄音或錄像,或使用到某種特殊的可用性測試工具和協(xié)助工具。
- 參與者:說明你計劃招募的測試參與者的數(shù)量和類型。介紹你要怎樣招募這些參與者??梢钥紤]將篩選標準放在附錄。
- 場景:說明測試中任務的數(shù)量和類型。通常,對于一個60分鐘的測試,你可以為臺式機或筆記本的測試安排10(+/-2)個場景,為手機或智能手機測試安排8(+/-2)個場景。你可以在測試計劃中包含更多的場景,這樣團隊就可以從中選擇合適的任務。
- 測量數(shù)據(jù):主觀測量數(shù)據(jù):包括你準備在每個測試階段前(如背景調(diào)查問卷)和每個任務場景完成后(任務的容易度和滿意度問題)詢問參與者的問題,以及每個測試階段結(jié)束后整體的容易度、滿意度以及使用和推薦的可能性等問題。
- 定量測量數(shù)據(jù):列出你在測試中要測量哪些定量數(shù)據(jù),例如成功率,錯誤率和完成任務所需時間。
- 角色:參與可用性測試的員工名單和他們的角色??捎眯詫<覒摮蔀闇y試的主持人??捎眯詧F隊成員可以是主要的記錄者。其他團隊成員可以作為觀察者或記錄者。
招募參與者
你要招募熟悉網(wǎng)站的用戶做測試的參與者。
根據(jù)網(wǎng)站或產(chǎn)品的不同,你可能有許多不同的潛在用戶群(例如,內(nèi)科醫(yī)生、病人、研究者或青少年、父母和教育者)。每個用戶群要嘗試著招募一些典型用戶,或者最好的情況是,如果你想收集基于角色的信息或關注功能,你也可能單獨對每個用戶群實施測試。
如果你的網(wǎng)站是針對外部受眾的,一個常見的錯誤就是使用內(nèi)部員工來做參與者。只有內(nèi)部員工也是網(wǎng)站的目標受眾時,他們才能作為參與者。
- 數(shù)量:對于一個診斷性的可用性測試,6-8個用戶通常就足以發(fā)現(xiàn)產(chǎn)品的主要問題。
如果你想開展正式的定量測試,你需要從更多的人那里獲得數(shù)據(jù)結(jié)果,但是可用性測試通常不會這樣做。
如果你計劃在開發(fā)網(wǎng)站時做迭代可用性測試,許多用戶會對網(wǎng)站的好幾個版本進行測試。你需要將這個考慮進你的招募和預算計劃。
- 招募:如果你的團隊能夠找到典型用戶,你可以從他們當中招募。如果你的團隊找不到,你可以雇用一家商業(yè)招募公司。大部分招募公司需要兩到三周來尋找和安排必須的參與者數(shù)量和類型。一些招募公司也可能幫你管理報酬費。最好和他們討論下你的團隊所需要的額外服務。
- 篩選問卷:篩選問卷可以很簡單,只有性別和年齡;也可以很復雜,包括一系列目標受眾的規(guī)定。
- 成本:包括尋找參與者的花費,也包括激勵參與者的花費(如禮物或酬金),某些情況下也包括旅途費用和停車費。
測試準備
確保你準備好了所有材料、知情同意書和需要的文件。在測試前再檢查一遍。讓一個志愿參與者初步試驗一下設備和材料。初步試驗可以幫助你:
- 測試設備
- 讓主持人和記錄者練習一遍
- 了解到參與者能否清晰地理解你的問題和場景
- 做最后的調(diào)整
在正式測試前用1-2天做試驗性的測試,這樣你就有時間處理一些技術問題、或有必要的話調(diào)整場景或其他材料。
實施可用性測試
以下是一個測試階段的例子:
1.? 主持人對參與者表示歡迎,并向其說明接下來的測試階段,邀請參與者簽下授權協(xié)議,詢問測試前的人口統(tǒng)計學問題。
2.? 主持人說明出聲思維,并詢問參與者有沒其他問題。主持人告知如何開始。
3.? 參與者大聲閱讀任務場景,并一邊依據(jù)場景開始工作,一邊出聲思維。
4.? 記錄者記下參與者的行為,評論,錯誤以及是否成功完成每個任務。
5.? 直到所有任務場景全部完成,測試階段也就結(jié)束,或分配的時間已經(jīng)過去
6.? 主持人詢問測試階段結(jié)束后的主觀性問題,或者讓他們完成一個在線調(diào)查,感謝參與者,給參與者報酬,護送他們離開測試環(huán)境。
7.? 主持人隨后重新布置材料和設備,和觀察者簡單討論,等待下一個參與者的到來。
測試度量
在測試中可以收集下面幾種測量數(shù)據(jù):
- 任務成功率:每個場景都需要用戶獲得特定的數(shù)據(jù)以完成任務。當參與者找到問題的答案或完成任務目標時,場景任務就算成功完成了。在某些情況下,你可能想要詢問多重選擇的問題。記住,在測試計劃中要有問題和相應的答案,并將這些告訴記錄者和觀察者。
- 關鍵錯誤:關鍵錯誤是指偏離場景目標的行為。例如,由于參與者的工作流程而報告了錯誤的數(shù)據(jù)。這種情況下,參與者本質(zhì)上是不能完成任務的。參與者可能意識到或沒有意識到?jīng)]有完成任務。
- 非關鍵錯誤:是指參與者自己恢復的錯誤,或沒有導致任務失敗的錯誤。這些錯誤只是造成完成的效率更低。例如,打開錯誤的導航菜單欄目的探索性的行為,或不正確地使用一個控件。
- 零錯誤率:參與者在沒有出現(xiàn)任何錯誤(關鍵和非關鍵錯誤)的情況下完成任務的百分比。
- 完成任務時間:參與者完成任務所需的時間。
- 主觀測量:參與者自我報告的關于滿意度、易用性、找到信息的容易程度等方面的評價,使用5-7點量表測量。
- 喜歡,不喜歡和建議:參與者最喜歡網(wǎng)站的哪些方面,最不喜歡網(wǎng)站的哪些方面,以及改善網(wǎng)站的建議。
數(shù)據(jù)分析
根據(jù)你使用的測量數(shù)據(jù)的不同,你最后會得到幾種不同的數(shù)據(jù)類型。這包括定量數(shù)據(jù)(成功率、完成任務時間、錯誤率、滿意度評價)和定性數(shù)據(jù)(參與者使用流程的觀察、出現(xiàn)的問題、評價與建議、開放性問題的回答)。
重要結(jié)果報告
為了保證報告了重要結(jié)果,當你檢視數(shù)據(jù)時要考慮問題在整個網(wǎng)站中的普遍性以及問題的嚴重性。
你的發(fā)現(xiàn)可能對網(wǎng)站的其他頁面也有參考價值(普遍性)。例如,你可能發(fā)現(xiàn),由于文字太密集,參與者在網(wǎng)頁上找不到想要的東西。你可以說僅僅是這個頁面需要調(diào)整,但你也需要考慮其他頁面是否也存在這個問題。
一些問題相比其他問題對于參與者完成任務更為關鍵。許多組織會在3-4點量表評價問題的嚴重性。例如:
- 非常重要:如果我們不修正這個問題,用戶就沒法完成場景任務。
- 重要:如果不修正這個問題,用戶會感到受挫,并最終放棄。
- 次要:用戶有點惱火,但這并不影響他們完成場景任務。這個問題有待不久后商榷。
撰寫報告
一個好的報告應該包括測試計劃的相關信息,并呈現(xiàn)剛好足夠的細節(jié)以便后續(xù)測試能夠重復這一方法。每一部分盡量簡潔,用表格呈現(xiàn)測量數(shù)據(jù)。把發(fā)現(xiàn)和建議作為重點,并使用可視化的例子來說明問題區(qū)域。
你的報告要包括:
- 背景總結(jié):對你測試了什么(網(wǎng)站或網(wǎng)站應用)、什么時候在哪里測試、設備信息、在測試中你做了什么(可以將所有的測試材料放在附錄)、測試團隊和問題的簡單描述做一簡短的總結(jié)。
- 方法:呈現(xiàn)測試方法以便他人可以重復你的測試。說明你是如何實施測試的,包括介紹測試階段、測試界面的類型、收集到的測量數(shù)據(jù)、測試場景概述。介紹參與者情況,用一個總結(jié)性的表格呈現(xiàn)他們的背景/人口統(tǒng)計學特征的信息,例如年齡、職業(yè)、網(wǎng)絡使用情況、訪問的網(wǎng)站等。對人口統(tǒng)計學數(shù)據(jù)做簡單的總結(jié),但不要透露參與者的全名。
- 測試結(jié)果:介紹主持人和數(shù)據(jù)記錄設備的收集的結(jié)果。介紹最高和最低完成率的任務??偨Y(jié)每個參與者的成功率、任務和每個任務的平均成功率,并用表格呈現(xiàn)出來。以這種方式呈現(xiàn)所有的測量數(shù)據(jù)。
- 完成每個場景和所有場景的參與者數(shù)量和百分比,可以用條形圖呈現(xiàn)。
- 完成每個場景平均所需的時間
- 滿意度結(jié)果
- 作為例證的參與者的評論
- 發(fā)現(xiàn)和建議:用你的數(shù)據(jù)列出你的發(fā)現(xiàn)和建議(定量的和定性的,筆記和電子表格)。每個發(fā)現(xiàn)都應基于數(shù)據(jù),即你實際看到和聽到的。你可能只想將所有發(fā)現(xiàn)和建議列成一張總表,或者一個場景一個場景的介紹,又或者不僅有一張主要發(fā)現(xiàn)的列表,也有依據(jù)場景任務劃分的建議,同時也有一個場景一個場景的報告。記住:
- 雖然大部分的可用性報告只關注問題,但報告正面的發(fā)現(xiàn)也是有用的。那些工作良好的特性在未來的研發(fā)必須保留。
- 一個完全負面的報告可能會讓人心灰意冷;它有助于團隊知道一個工作良好的網(wǎng)站的許多問題。
- 每個發(fā)現(xiàn)應該包括盡可能具體的對情境(situation)的描述。
- 每個發(fā)現(xiàn)(或每組互相關聯(lián)的發(fā)現(xiàn))應該包括怎么應對的建議。
- 嚴重性評級:如果你將問題區(qū)分為局部性的和整體性的,且有嚴重性評級,要報告這些。附上截圖和視頻片段。加入視覺元素能夠報告更富信息量也更加有趣。截圖能讓讀者看到你在測試什么。它能表現(xiàn)哪些地方工作良好,哪些地方給用戶帶來使用困難。如果你是在電子設備上呈現(xiàn)報告,并且能讓讀者看到視頻片段,要附上一些短視頻來說明特定的點。通過觀看相關的視頻片段,沒有觀察到實際測試階段的人能夠更加確信問題的所在,并由更強的意愿去修正。
- 執(zhí)行和重新測試:要想實現(xiàn)可用性測試的價值,你必須將你所了解的應用到網(wǎng)站的改善中去。你可能沒法執(zhí)行所有的建議。開發(fā)任何產(chǎn)品都是一系列權衡的過程,你要考慮需要的日程安排、預算、人手和改變。如果你沒法執(zhí)行所有的建議,你可以基于全局性和嚴重性來判斷優(yōu)先級。做出優(yōu)先級判斷后,推進用戶需要的改變。當一個網(wǎng)站還在開放階段時,為一個設計糟糕的網(wǎng)站的用戶提供支持的成本遠遠大于修正網(wǎng)站的成本。
最佳實踐
- 尊重被試,讓他們感覺舒適自然。
- 記住你是在測試網(wǎng)站而不是用戶。讓他們理解他們是在幫助我們測試原型或網(wǎng)站。
- 保持中立。你是在聽和看。如果參與者問你問題,你可以這樣回應“你認為呢?”,“我好奇你會怎么做?!?/li>
- 不要突然跳出來幫助參與者,也不要引導參與者。如果參與者放棄了并向你求助,你要決定是否要終止場景、提示還是給到更多的幫助。
- 團隊必須決定當參與者明顯去到一個錯誤的路徑時,你要提供多大程度的提示,以及允許參與者完成場景花費多少時間。
- 做好筆記。記錄者要盡可能詳細地記錄下參與者做了什么和說了什么。筆記做的越好,分析也就越容易。
- 測量行為表現(xiàn)和主觀(偏好)度量。表現(xiàn)測量包括:成功率、時間、錯誤率等。主觀測量包括:用戶自我報告的滿意度和舒適度評價。人們的行為表現(xiàn)和主觀偏好并不總是一致的。用戶經(jīng)常在表現(xiàn)糟糕時,主觀評價卻很高。反之亦然。
- 可用性測試不僅僅是對項目進度的檢查。團隊應該知道測試的目的是什么,然后執(zhí)行結(jié)果。
轉(zhuǎn)自:http://article.yeeyan.org/view/200085/384744
感謝!干貨!拿走!
恩,恩,值得學習