可用性測試,到底需要找多少個用戶?
可用性測試到底需要多少參與者?本文作者經常被問及。由五名參與者進行的可用性研究將發現超過 80% 的界面問題,他介紹得出該結論的依據,并且統計抽樣方法也得出了相同結論。5-10 名參與者是一個合理的基線范圍,應在每次研究之前進行評估,并附上了需要考慮的一些事項。
人們經常問我:我們的可用性測試需要找多少個用戶?
這個問題是用研人員和利益相關者間存在大量爭論的根源。作為專業人士,我們的目標是可靠性與業務目標及其他影響因素(例如時間和預算)之間取得平衡。這意味著我們應識別出不同樣本量測試中潛在的風險和影響,并為不同研究項目推薦最佳的小組人數規?!?/p>
通常,在不清楚可用性測試內如何及什么環節使用這些用戶,用研人員就接受了關于可用性研究流行的人數建議。典型例子是尼爾森 (Nielsen) 的建議:“由五名參與者進行的可用性研究將發現超過 80% 的界面問題”。這個著名的建議基于維爾奇 (1992) 和尼爾森 (1993) 的研究。
根據麥斯菲爾德 (2009) 的說法,他們是這樣得出這個結論的:“100 組 5 名用戶參加發現界面問題。該研究的確發現,在所有 100 組中發現的問題的平均百分比約為 85%。然而,這個數字有 95 % 的置信水平和 ±18.5% 的誤差范圍。這意味著對于任何一個特定五人組,發現問題的百分比有 95% 的可能性在 66.5%-100% 的范圍內。事實上,一些五人組確實(實際上)識別了所有問題;然而,一個五人組只發現了 55% 的問題?!?/p>
最近,福克納 (2003) 嘗試使用統計抽樣方法回答同樣的問題。她發現,平均而言,尼爾森的預測是正確的。在 100 次模擬測試中測試 5 名用戶,發現平均 85% 的可用性問題是在更大的群體中發現的。然而,當仔細查看數據時,由 5 名參與者組成的小組發現的可用性問題的范圍從幾乎 100% 到只有 55%(類似于早期的研究)。這對用研人員意味著什么?當我們只依賴 5 名用戶時,我們冒著錯過幾乎一半可用性問題的風險。
回顧福克納的結果,我們看到增加參與者的數量,可以解決問題并提高研究結果的可靠性。更具體地說,10 名參與者平均可以發現 95% 的問題(范圍從82% 到 100%)。參與者增加到 15 名可以平均識別 97% 的問題(范圍為 90% 到 100%)。
??思{ (2003) 的表格顯示了不同的參與者群體規模如何影響研究達到問題發現的水平。
當然,招募超過 5 名用戶并不總是可行的,而且我們不希望一次發現所有可用性問題!那么應該怎么做呢?
就像用戶研究存在諸多方面,沒有一種適合所有方面的方法我們可以采用!答案取決于許多因素,應在每次研究之前進行評估。需要考慮的一些因素如下:
- 研究的影響結果:如果你沒有盡可能多地發現可用性問題,會有什么風險?與測試購物 app 中的新功能相比,測試一個以人們生命為代價的系統時,可用性問題帶來的風險會更高。影響越大,你應該招募的參與者就越多。
- 正在測試的產品/系統的復雜性:最佳小組規模應受研究復雜性的影響,更復雜的研究需要更多的參與者??梢酝ㄟ^一些標準來評估研究的復雜性:被測系統的復雜性、所用任務的范圍和復雜性、參與者的多樣性等。
- 目標用戶群體:如果你正在開發存在不同用戶類型的產品,你測試來自所有類型的用戶以獲得有效結果。例如,如果你有兩種不同的用戶類型,你需要從每個類型(例如5個賣家和 5個買家)中招募一個具有代表性的用戶樣本。
- 開發周期的階段:位于越早的開發過程,就越有可能發現影響產品功能的嚴重錯誤。因此,可以從招募較小的樣本開始。隨著產品變得更改善和更優化,可用性問題更難發現,需要更大的樣本。
- 用戶必須使用的主線任務:測試的任務越多越復雜,需要的用戶就越多。當要求用戶完成基礎的主線任務時,你可以使用較小的樣本量。
- 研究目的:研究目的會影響我們需要招募多少用戶。例如,出于政治原因(比如說服利益相關者)進行可用性研究需要小樣本(2-3名參與者),但如果想測試新產品的可用性,則需要更大的樣本來幫助我們發現盡可能多的問題。
根據麥斯菲爾德 (2009) 的評論,可以證明:“對于大多數發現問題的研究,3-20 名用戶的小組規模是有效的,5-10 名參與者是一個合理的基線范圍,并且小組規模應該隨著研究的復雜性和背景的重要性而增加”。
注意:如果測試質量差,再多用戶參與都無濟于事……
研究表明,可用性測試的結果很大程度上取決于評估者(雅各布森和赫茨姆研究,2001)。例如,使用無效的測試任務或不正確地促進會話??捎眯詼y試中的錯誤并不少見 —— 即使是有經驗的研究人員也會犯錯。
正如莫利奇 (2010) 建議的那樣,如果我們使用糟糕的方法,無論參與群體的人數規模如何,研究的結果都會很糟糕…… 選擇正確的方法并努力防止評估者的錯誤應該是首要事項。
原文作者:Dr Maria Panagiotidi(本文翻譯已獲得作者的正式授權)
原文:uxpsychology.substack.com/...
譯者:周佳悅;審核:徐曼鷺;編輯:孫淑雅;微信公眾號:TCC翻譯情報局(ID:TCC-design);連接知識,了解全球精選設計干貨
原標題:用戶研究 |你的可用性測試到底需要多少人
本文由@TCC翻譯情報局 翻譯發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!