小議用戶接受度測試UAT

0 評論 41752 瀏覽 29 收藏 8 分鐘

lulu導語:UAT,英文User Acceptance Test的簡寫,也就是用戶驗收測試,或用戶可接受測試,系統開發生命周期方法論的一個階段。通常在新版本上線前后通過用戶可用性測試或分流發布等其他方式進行,目的在檢驗用戶對新版本的接受程度。

1.UAT概況

在新版本上線前或上線后,通過目標用戶完成一定任務、經歷主要使用場景后做出偏好選擇的過程,為用戶接受度測試。對于上線前的UAT,研究者主要想找出相對優秀或合適的新版待用方案;對于上線后的UAT,研究者則通過UAT驗證產品方做出的方案決策效果。

1.1 UAT必要準備

接受度測試必須要開發完整后交由典型用戶檢驗,之前最好經過多種層次的檢驗(單元、整合和系統的測試),確認各模塊基本功能的完整和順利運行。

1.2 UAT測試內容的選擇

根據具體測試目的來定義UAT的任務、用戶人群、競品等等。

任務選擇:基本上,移動互聯網APP設計基于用戶使用需求和使用場景,UAT可以覆蓋典型使用場景的主要部分即可,也可以針對測試目的進行任務側重點調整。例如,MM移動商場改版測試會包括常用操作下載、管理應用等,但因為主要改版重點在首頁UI,所以必須增加首頁自由瀏覽任務以用來發現用戶對首頁改版的偏好。

用戶人群:選擇UAT的用戶樣本時需要正視兩個問題:用戶類型和樣本代表性。

用戶樣本的類型取決于測試重點和需求,可以是全體目標用戶,也可以是重點關注用戶,如已有用戶或新增用戶等。

樣本代表性問題在上線前測試顯得十分重要,主要是因為樣本代表性決定UAT結果的推廣度和代表性,產品方需要參考UAT結果進行決策,從而該結果的推廣影響整個產品后續發展,所以樣本代表性至關重要?,F在的正式研究主要通過增加樣本量的辦法來解決樣本代表性問題,如測試中使用具有統計效力的大樣本(N>=30)。

2. UAT用戶接受度測試的缺陷

第一:
只考慮新舊版本的交互/視覺變化對用戶的選擇影響,忽視了用戶的實際使用需求,即是追求新舊版方案間的最優方案。但事實上,即使用戶覺得該方案界面和交互視覺等無法挑剔,沒有實際的使用需要,用戶也不會主動使用該應用。

第二:

研究中用戶可能會出于各種因素(比如出于偏向性刻意討好或貶低移動產品)有意或無意地打高分或打低分。

第三:

用戶樣本的代表性問題。接受度測試位于產品設計-運營環節的測試階段,除非資源充沛,一般不會花大量金錢和時間來進行大規模的接受度測試,這個現實直接決定用戶樣本量規模較小。如果樣本量較小且招募不具備代表性,容易導致接受度的結果受到影響,產品線據此結果容易做出錯誤的決定。

3. 對UAT測試缺陷的解決辦法

第一:

為解決這個問題主要從兩個方面把關,一是抽取具有代表性的目標用戶(一般是已有活躍用戶和潛在的新用戶),具有使用該產品的需要;二是從問卷或訪談中強調“請根據你自己實際情況來選擇”,而非僅僅去客觀地判斷該產品的改版好不好。

第二:

為了避免用戶偏向性問題,可以增加樣本量,預期隨機誤差可以互相抵消。

第三:

解決接受度測試的樣本代表性問題最保險的做法是參考理論樣本量和同行的經驗做法。理論上接受度測試有統計學效力的樣本量至少要30(統計學上定義的大樣本),而行業內部分電商網站的新版首頁改版時也會選用20-30用戶進行接受度測試,其具體做法是把用戶劃分為有限類別(能夠覆蓋整體用戶類型,穩定用戶,購物車用戶,瀏覽型用戶,新手用戶等),讓不同類型的用戶按照隨機順序接受候選方案的經典任務流程,其中的用戶樣本和任務場景盡量覆蓋產品的整體情況,最后用戶根據自身實際情況對不同的候選方案進行評價。

4.特殊情況下的UAT

4.1同時上線的接受度測試

如果產品方已經圈定新版(跳過上線前測試),在糾結猶豫上線后新老用戶偏好新版還是舊版的時候,我們還可以使用逐步開放新版的灰度上線方法(改良版A/B測試)來觀察和驗證用戶對新版的接受度。舉例來說,電商首頁改版,逐步開放10%/30%/50%/70%的來訪用戶接受新版首頁,此時記錄和分析用戶的跳出率和PV,根據以往的標準來觀察逐步開放過程的用戶使用行為變化,最好的結果是10%到100%用戶指標表現良好,確定新版首頁為用戶接受;最差的結果是當開放到某個臨界值時,用戶指標已經遠遠差于舊版,可能需要最好回滾/復用準備。

?4.2可用性測試中融合接受度評價

上述的接受度測試必要準備有提到,用戶接受度測試需要產品/應用的基本功能完整和順利運行,用戶這時接觸產品能夠正常使用,并且根據自己的使用習慣和偏好進行偏好度評價。但實際情況是產品線開發周期短,部分產品在為開發完整時就可能需要做出選擇,用戶接觸產品時會遇到一些可用性問題,因此他們會綜合評價各個候選方案的接受度。這時候的接受度測試和可用性測試融合在一起。

可用性測試中融合接受度評價的做法能夠間接減少用戶樣本量(權威研究機構Nielsen Group指出可用性測試至少用戶5人或以上,而且會出現理論飽和度問題),但這種做法直接影響接受度評價部分的代表性,需要在測試結果中明確表明,請產品線謹慎參考和決策。

 

附錄:

http://www.exforsys.com/tutorials/testing/what-is-user-acceptance-testing.html
http://gux.163.com/archives/3063

作者@MandyCat ? 來源:互聯網er的早讀課?

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!