十分鐘學會如何進行可用性測試
編輯導語:在產品設計中,用戶需求與偏好是優化用戶體驗所必須知道的內容,而利用可用性測試、讓用戶參與設計評估可以有效地反饋用戶信息。本篇文章里,作者就介紹了用戶測試的類型,與可用性測試的搭建策略,一起來看一下。
用戶參與設計評估是密歇根大學最近推出的課程,這門課屬于他們最近推出的用戶體驗(UX)設計研究課程的內容,展現了以形成性測驗[1](Formative testing)為重點的用戶測試方法。
([1] 形成性測驗:亦稱 “形成性評量”,與 “總結性測驗” 相對。教學和學習過程中,用于了解學生掌握教學內容情況及教學中存在的問題的測驗。一般在學完一個單元或一個章節時進行。)
盡管我強烈推薦這門課程,但說實話,我發現這門課程沒有遵循邏輯順序,使人很難跟上進度。我希望這個總結能幫助更多人更好地學習這門課程。
一、用戶測試的類型 Types of User testing
1. 總結性測試
- 目標:證明論點或回應假設,例如:“在 x 測試中方案 A 是否優于方案 B?”(方案 A 和方案 B 的差異通常很小,僅在設計方面有所不同。)
- 測試:需要對照實驗,并且結果應該是可衡量的(例如:A / B 測試)。
- 要求:10 到 20+ 個用戶。
- 定量方法。
2. 形成性測驗
- 目標:要修復特定問題,并找出導致問題發生的某個設計部分。
- 測試是目標導向的。
- 關注用戶的語言、行為和困擾。
- 定性方法。
二、你需要招募哪些人?Who should you recruit?
一般來說,可用性測試的目的是,觀察用戶組 X(具有相似特征、行為或態度的用戶)是否可以使用系統 Y 來執行活動 Z。所以,你必須非常清楚你的用戶是誰,并對他們在測試中的表現感興趣。在開始招募用戶進行用戶測試之前,應該考慮以下特征:專業知識、行為、特征、態度。
- 專業知識——用戶對通用計算機或數字產品的專業程度。
- 行為——用戶對被測產品的體驗水平。
- 特征——用戶背景(例如,如果你正在測試一款健康應用程序,你不能期望患者與醫生有著相同的知識水平)
- 態度——數字產品的某些特性可能會觸動用戶,因此應該預先研究他們對某些問題(如隱私問題)的意見。
三、設計任務?Designing the Tasks
給參與者布置任務,目的是讓他們試著使用數字產品來實現一些目標。所以問問自己,這個測試的目的是什么?我們首先要從這個測試中發現什么?這將從問題陳述開始,包括用戶組、數字項目及其提供的活動,例如:有經驗的網購者可以使用 eBay 尋找和購買裝飾品嗎?
- 用戶群:有經驗的網購者;
- 系統:eBay;
- 活動:購買裝飾品。
在確定用戶群和活動之后,就可以開始集思廣益,討論用戶將在該活動范圍內執行的特定操作。
1. 導向性良好的任務特征
總之,一項任務應具有以下特征:
- 與測試目標相關;
- 實事求是,可驗證;
- 不應附加說明。
完善任務,不要陷入只提及任務最終結果的陷阱。例如,想象一個任務為“買一本新書”,首先問“用戶為什么要買那本書?”,其背后的原因包含了購買目的,“用戶想通過一本書來學習如何烹飪”。
2. 用戶任務設置示例
目的:觀察初次嘗試在線學習的用戶是否能高效地通過 FutureLearn 訪問課程內容主要任務:嘗試尋找一門可參加的與用戶體驗相關的課程。這門課必須沒有先決條件,并且在初-中級水平。這門課每周需學習 3 小時,只上6周,并且最好可以盡快開始上課。
任務集
- 任務 1:在 FutureLearn 中 創建帳戶。
- 任務 2:查找與 IT 和計算機科學相關的課程列表。
- 任務 3:選擇一門沒有任何先決條件的課程,最好現在就可以開始上課,每周 2 小時就可以完成,而且只持續 2 周。
- 任務 4:檢查你的課程是否已成功添加到 你的帳戶/個人資料 中。
- 任務 5:找到一個課程時長不超過2周,價格低于 800 歐元的研究生水課程。
四、問卷和訪談 Questionnaires andInterviews
1. 測試前問卷
在這個階段,你將了解參與者們的多樣性維度,你只需詢問并分析相關內容。這些信息有助于解釋你在任務執行過程中看到的東西。如果研究人員認為用戶之間的差異不會影響測試結果,那么也可以跳過這一步。
2. 測試后問卷
在參與者完成任務后使用的測試問卷中,要避免自由發揮的回答。例如,使用數字表示對問題的同意程度,“學會使用這個系統很容易:非常不同意——非常同意”。
可衡量的反應
- 感知可用性:“你覺得這個系統的可用性如何?”
- 感知有用性:“你認為這個系統對你實際需要做的事情有多大用處?”
- 偏好或希望的方面:“你覺得這個系統在視覺上的吸引力如何?相較于競品,更喜歡哪個?”
3. 測試前訪談
用測前訪談代替問卷,以口頭形式得到可量化的問題。
這有利于建立融洽的關系,并獲得更多細節,但是它可能需要更長的時間。例如,“如果我想知道我的參與者們進行了多少次在線購買,從而根據他們在網購方面的專長來描述他們,那么我可以直接提問,在過去一個月里,你大概網購了幾次?”
4. 測試后訪談
你可以采用 “先標記后訪談” 的方式,訪談內容大概包括:
- 任務跟進情況;
- 用戶所陷入的困境;
- 錯誤的跳轉;
- 用戶出錯的地方(包括用戶沒有注意到的出錯點);
- 用戶提出的問題;
- 復現任務并指出用戶在任務中遇到的問題。
常見問題
- 你認為這個系統在哪些方面做得好?
- 你認為這個系統最需要改進的地方是哪里?
- 你會用這個系統做什么呢?(感知有用性)
- 你認為這個系統對誰最有價值?
- 如果你必須向別人解釋系統的功能,你會怎么說?
- 他們真的了解這個系統要做什么,以及它應該做什么嗎?
- 你是否使用過與此類似的系統,你如何比較它們?
總之,“為什么” 應該是 訪談時要問的核心問題。
5. 可能出現的問題
注意需求特征(參與者傾向于給你想要的東西)、默認偏差(更傾向于給予積極反饋)和確認偏差(選擇性地拒絕否認我們相信的東西)。不要期望每個人都給你正確的答案。
如何解決
- 需求特征和默認偏差:要求參與者給出真實反饋,注意其不自然的回答,并說明測試的目的。
- 確認偏差:通過無偏差的第三方進行測試,不要對測試結果表現出興趣。
五、進行可用性測試?Conducting the usability test
- 選擇一組有代表性的任務。
- 試運行測試:自己進行測試,找到成功執行任務的方式,以及難易程度。
- 清除狀態:如果需要,清除以往參與者數據(重置系統,清除緩存、搜索歷史記錄、系統中的用戶歷史記錄)。
- 由簡至繁地安排任務。
平均時間:30-45 分鐘完成所有任務
1. 主持人應該怎么做
首先介紹一下你 自己和其他參與者。重要的是通過與參與者建立信任關系來確定基調。展示他們的價值以保持參與熱情,并在用戶測試中明確你的目標。
向大家展示你的角色,包括你將如何推進評估和觀察,并告訴大家誠實的反饋是至關重要的。
鑒于參與者的角色是自愿幫助你評估系統,確保他們明白自己不是實驗品,他們有權利隨時喊停,而不是被迫回答所有的問題。如果可能的話,給參與者一個獎勵并說 “謝謝你的寶貴時間”。
另外,不要通過給出指令來引導用戶完成任務,Newman(2020)建議提前說明以下幾句話:“我希望你試著去完成這項任務。如果你陷入困境,真的需要幫助的話,我隨時都在。但我真心希望你能夠盡你最大的能力來完成這件事,之后我們會討論你遇到的問題。”
2. 參與者應該怎么做
參與者應該大聲說出他們在想什么和想到什么,例如:
- 他們在找什么。
- 大聲朗讀文本。
- 推測系統的工作方式。
- 他們如何理解自己在做什么?
- 解釋系統反饋。
- 解釋和論證他們的決定。
- 他們感覺怎么樣?
你可能會問,為什么要這樣?因為這樣你可以聽到他們在思考任務,知道他們注意到什么,聽到他們如何解釋他們的選擇。
知情同意
如果需要,可以要求參與者簽署知情同意書,以下是示例:
密歇根大學的知情同意書示例(紐曼,2020)
3. 如何調節
- 測試前要做好應對問題的準備;
- 選擇一個安靜私密的地方;
- 錄制測試會話(錄制視頻和音頻,方便之后分析所有內容);
- 使用記錄表來跟蹤記錄器的進程。
日志記錄表能夠使任務分析井然有序,并在測試期間只關注相關報告:
字體:(密歇根大學,2020)
六、收集統計數據并分析結果?Collect statistics and Analyse theResults
回到目標陳述,“用戶 X 是否可以使用系統 Y 來執行活動 Z ”,你需要:
- 收集以下統計數據:任務成功 / 失敗次數;出現的錯誤;計時。
- 審查關鍵事件:故障發生在哪里?為什么會這樣?
- 解釋匯報答復。
“任務的成功非二元結果”(密歇根大學,2020年)在用戶測試結束時,你應該收集:
- 5 – 7 次測試會話;
- 大約 25 到 50 個用戶測試任務;
- 10 小時視頻;
- 一堆記錄表;
- 5 – 14 份問卷。
1. 識別嚴重問題(關鍵發現)
在最后的報告中,應該強調最嚴重的問題,或者說是關鍵的調查結果。要做到這一點,首先要:
- 描述問題:“在什么屏幕或頁面,或在什么交互過程中出現問題?是否有特殊情況發生,發生頻率如何?”
- 提供證據:指出造成問題的關鍵事件(例如:任務失敗、延長時間)。
- 通過提供建議或額外研究來找到解決問題的行動方案:找到其他數字產品的合適案例、設計原則或啟發,以及適用于該情況的可用性實踐的一般原則。了解如何解決這個問題,以及是否需要額外的研究。
對于不太嚴重的問題:
- 問題描述以及嚴重程度量表;
- 提供附錄。
2. 解釋產出
總結你的結果,回顧事件,并注意模式。為什么會出現問題?違反了什么可用性原則?有沒有根本原因?
3. 報告
- 形式由受眾和目的決定。
- 如果是個人項目:列出優先順序就足夠了。但如果您是與團隊合作,報告應列出關鍵發現、次級問題清單以及證據。
- 如果是針對外部利益相關者:聚焦于一份正式的報告,強調完成任務的方法和過程,這樣他們就可以理解結果是如何得出的。
“如果除了你自己之外沒有人理解你的發現,那么不會有人從你的辛勤工作中受益?!薄?Newman,2020
4. 知情同意書
感謝您參加今天的研究。本次研究的目的是____________。
在今天的研究期間,我將要求您使用我們正在評估的系統來執行一些任務,并將詢問您一些關于體驗方面的問題。
為了幫助我們進行分析,我將對今天的測試過程進行錄音、錄像。這些數據只會由我們的研究小組、產品 / 設計團隊的成員查看,無論您的身份是什么,所有關于您的信息都將保密。
您參與本次可用性研究是自愿的,您可以隨時反悔并停止參與本次研究。您也可以拒絕執行特定任務或回答特定問題。
本人知曉此同意書書中所寫內容,并同意參與研究。此前,我們已經討論了參與者和研究人員在進行用戶測試時可能帶來的一些偏差。
本文翻譯已獲得作者的正式授權(授權截圖如下)。
作者:Sara Lopes
原文:https://uxplanet.org/learn-how-to-conduct-usability-tests-in-10-min-95dd3e7c458a
譯者:邵俊森;審核:劉倩茹、李澤慧、張聿彤;編輯:孫淑雅
本文由@TCC翻譯情報局 翻譯發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議
- 目前還沒評論,等你發揮!