起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識移動APP可用性測試：實驗室測試和現場測試的比較（上）
當測試一款移動APP的用戶界面時，現場測試可能不是最好的選擇；多數還是因為它比實驗室測試更加耗時。
可用性測試的重點
可用性測試是在移動APP在設計、投入市場后用來評估可用性的一種常用工具。可用性測試實施時一般是使用發聲思考，即用戶在一個測試環境中被給予任務，并鼓勵他們在嘗試完成任務時出聲思考。這能夠幫助可用性測試的主試即實驗者知道用戶界面（APP設計）是如何幫助用戶自然地思考和執行操作，強調對于產品的特色和改善方法的認知。
如何去定義一個可用性問題修改的緊迫性？
可用性問題的嚴重等級是一個重要的因素。當這個問題阻止用戶任務完成時，就需要最緊急的修復行動了。Dumas和Redish（1993）使用了4個關鍵等級，至今仍被用戶研究員引用的較多：第一個等級為最嚴重的等級，表示最嚴重的問題，第四個等級為表示最輕的嚴重性。Kallio等人（2004）也將問題按嚴重性進行分類：高（導致任務執行失?。?，中等（不是那么嚴重，任務可以完成）和低（小問題）。
實驗室 VS 現場
傳統的實驗室測試
傳統的可用性測試一般是在可用性測試實驗室實施完成，如阿里、網易游戲都有專業的實驗室，一般是由一間類似于辦公室的區域和一面單向玻璃的可監視房間組成。必須保障實驗室環境是一個安靜的空間，測試的用戶能夠全神貫注于任務的執行。
實驗室測試的擔憂
經常在實驗室進行測試的用戶研究員都會擔心在實驗室進行的評估會由于沒有模仿用戶的使用情境而缺少生態效度。因為在現實的使用場景中，打斷、移動、聲音和多重任務操作等，這些沒有出現在實驗室測試中的因素，都可能在現實情景中影響到用戶的操作。
現場測試
然而現場的可用性測試是非常罕見的，大部分（70%以上）的移動APP評估是在實驗室設備中做的。這可能是因為數據的收集，如出聲思考、視頻記錄或者觀察記錄，這些在現場做比較困難。
幸好由于便攜式錄像設備在近兩年快速發展，使得在現場進行用戶測試變得容易些。這些發展允許用戶研究員像在實驗室那樣，可以在現場做一些小測試了；也使得他們能夠有意識的去跟蹤屏幕上發生的事情，去傾聽用戶的評論。同時也允許在現場的可用性測試中使用出聲思考的方法。盡管發展了合適的工具，現場測試仍然比實驗室更加耗時，也可能需要測試的用戶和主持人付出更大的努力。
研究目的
敏捷用研在APP快速迭代開發的環境下被提出和倡導，以用戶為中心的設計和可用性測試一定要非常高效。敏捷測試需要用戶研究員在產品開發時間被嚴格限制的期間內，發現最重大的可用性問題在上線前進行修復。所以，可用性測試的焦點絕不是發現每個可能的細小問題。
如何使測試的結果最優化，選擇正確的評估方法尤為重要。對可用性測試者來說，經過科學驗證的合適的測試方法是非常寶貴的。在我們的研究中，主要的目的是了解清楚，當評估移動APP可用性時，現場測試是否有風險，或者實驗室環境是否可以模擬出足夠的生態效度。
對比研究
為了解清楚可用性測試中環境的影響，我們實施了一個對比研究，即同時在現場和實驗室兩種環境下開展可用性測試，并且保證其他因素（執行的任務，發聲思考的方法等）都是一樣的，只有測試的環境不同。
兩種測試環境分別是：
- 實驗室：一般用戶研究員進行可用性測試的地方，預算較低；
- 現場：一個用戶會真正使用移動APP的地方。
研究問題和假設
（1）問題：在實驗室和現場會發現同樣數量的問題和現象嗎？
假設：如果進行對比的兩組測試都是在足夠多的用戶中進行，那么現場測試發現的問題數量會更多。
（2）問題：在兩個測試環境中發現的問題和現象會是一樣的嗎？如果不是，有什么差異？
假設：兩種環境中的問題將會是不同的。例如最常下載時間在現場可能更能被容忍。
（3）問題：如果發現的問題有不同，那么是因為實驗室或現場發生問題的嚴重性不同嗎？
假設：現場的問題會因為在任務執行過程中被打斷而更加嚴重。
（4）問題：任務執行時間會不同嗎？由此我們可以從測試中推斷出什么？
假設：任務執行時間在現場將會更長。
（5）問題：環境會影響測試用戶的執行嗎？
假設：現場測試的任務在執行過程中將會有更多的被打斷機會，而打斷行為的發生次數會影響用戶操作。
（6）問題：當評估移動APP的可用性時，是實驗室更適合還是現場測試更合適？
假設：當評估移動APP的可用性時，現場測試將會更適合，因為情境影響使用和操作。
研究結果
然而對比研究的結果使我們驚訝，因為結果并沒有支持大部分我們之前的假設。
（1）問題：在實驗室和現場會發現同樣數量的問題和現象嗎？
根據我們的研究：現場測試發現的問題會比實驗室多，但并未達到顯著差異。
我們的假設是在現場測試會發現更多的問題，但是沒有被實驗結果支持。
（2）問題：在兩個測試環境中發現的問題和現象是一樣的嗎？如果不是，有什么差異？
盡管觀察到了同樣的問題，但是同一問題在現場測試中發生的頻率更高。
（3）問題：如果發現的問題有不同，那么是因為實驗室或現場發生問題的嚴重性不同嗎？
假設是在現場會發現更多嚴重的問題，但是沒有被證實。有關問題的嚴重性，在兩種測試環境中沒有差異。
（4）問題：任務執行時間會不同嗎？由此我們可以從測試中推斷出什么？
個人任務完成的時間，現場測試的用戶沒有比實驗室測試的用戶更長。當然在測試所需要的總時間上，現場的確要比實驗室長，這說明現場測試是一個更消耗時間的方法。
（5）問題：環境會影響測試用戶的執行嗎？
在現場，測試有潛在的干擾，但是對于用戶的操作似乎沒有太大的影響。因為當執行復雜任務時，用戶會尋找一個安全的地方（方位/角度）去執行，只有一小部分用戶會一邊執行一邊踱步。在現場，用戶的注意力會非常集中在測試上，例如在進出地鐵時也會持續工作，在地鐵上他們似乎也沒有被其他地鐵乘客打擾到，即使其他乘客會來和主持人說話。
盡管主持人的行為在兩場測試中是一樣的，但是現場測試中用戶的表現似乎更加放松、隨便，表現在他們更頻繁的去發表關于APP的評論。
（6）問題：當評估移動APP的可用性時，是實驗室更適合還是現場測試更合適？
當做一款移動APP的用戶界面評估時，現場測試可能沒法顯著增加測試的有效性和完全性。不是因為一些問題沒有被發現，而是因為現場測試所需要的時間更長，需要付出的努力更多?；谖覀兊膶嶒灒?strong>實驗室測試似乎已經能夠在提高用戶界面和系統交互方面給予充足的信息。
現場測試完成后，主持人和用戶交談的更隨意，似乎用戶更容易說出自己關于產品觀念的想法。現場測試的方法適合于不僅和一個系統交互進行測試，還包括測試用戶行為和環境。另外，APP或設備如有一定的機密性那么測試通常是在實驗室進行的，特別是在還在開發周期的產品。
在現場環境中，用戶似乎在尋找一個安靜的角落來和APP進行交互。個人空間似乎并不只在與別人交流時才被需要；在公共場合，當人們在做自己的事情時同樣需要隱私。
研究的影響和將來的研究
正如用戶研究員的目標是在嚴格的項目經費和時間的限制下，找到最大和最致命的可用性問題，那么這項研究幫助用戶研究員在測試地點上做了決策。當測試一個移動APP的可用性時，實驗室測試能夠給予充足的信息。
給予用戶研究從業者的啟示
當測試一款移動APP的用戶界面時，現場測試可能不是最好的選擇；多數還是因為它比實驗室測試更加耗時。
如果需要進行現場測試，則需要準備好比實驗室雙倍的時間來進行；因為在現場，你可能一天下來只能測試實驗室的一半被試，且你需要做好事情不按計劃走的準備，因為除了測試還會有更多的干擾和意想不到的事情。
在做現場測試前，先做一個嚴格的預測試是必要的；因為許多細節都會很容易出錯，你真的需要檢查所有的準備來確保萬無一失。
作者：媛媛大王（微信公眾號：用戶研究社?），資深用戶研究員
本文由 @媛媛大王 原創發布于人人都是產品經理。未經許可，禁止轉載。
這都可以沙發？