震精!觀察一個用戶是否比不觀察更糟糕?

0 評論 2049 瀏覽 1 收藏 9 分鐘

眼見為實,觀察是在研究用戶與產品交互中極少數,比看那些專業的報告或者匯報更有說服力的一種方法。

但是,如果在一項可用性測試中,調研人員只有觀察一個或兩個用戶的時間,那怎么辦呢?在什么樣的情況下,我們觀察一些用戶比一個都不觀察更糟糕呢?

只觀察一個比不觀察更糟糕

試想一下,如果一個調研人員,如產品開發人員或設計人員,他們找到5個用戶來進行測試,而這幾個用戶在使用這個產品時沒有感到任何的疑惑和困難,他們便會錯誤地從這5個用戶中得出結論:所有的用戶在使用該產品時都沒有問題,并會認為該產品已經很優秀了。

兩個用戶的模式

為了避免這種對單一用戶調研而產生片面的結果,一些研究團隊便制定了簡單少數服從多數的規則,他們會問,或在某些情況下要求觀察多個用戶的使用階段。如果調研人員只能觀察一次,那么這比什么都不要觀察糟糕的多。

如果所有可用性測試都是按照計劃來進行,而其努力的結果與曲解是相一致的,那么你就會明白為什么要有這樣的一個規則。至少有兩個用戶的話,你會看到不同的用戶與軟件的交互方式,也能更全面概括出用戶行為是怎么樣的。

三個用戶打破平局

另一種我所見過的形式是觀察的至少三個用戶,而不是兩個。兩個用戶可能會導致平局而無法決策,第三個用戶會打破這個局面。至少這樣可以適當避免先入為主的想法影響最終結論。

為什么一個優于無

我很同情那些研究人員,常常被領導用先入為主的觀念而扭曲數據。所以不難理解這樣的指導方針。然而,我也不愿意說觀察一兩個用戶比什么都沒做更糟糕。因為這涉及到一個概率的問題。

如下圖中的表格,它分別代表可用性測試中的5個用戶。白色方塊代表那些有相似體驗的用戶,紅色方塊則代表一個曾經對產品有不同尋常體驗(異常好或者壞)的用戶。

調研人員會看到這個不同尋常的用戶的概率是五分之一或者說20%。因此,在任何只有一個不同尋常的用戶的研究中,就會有被誤導的可能產生。

然而,大數定律告訴我們,隨著時間的推移,更有可能的是,用研人員看見一個典型問題勝過非典型問題。下面這五個研究,每一組研究中都有五個用戶。每一組研究中都有一個表示有差異的紅色方塊和四個一致體驗的白色方塊。

使用二項概率公式,一個調研人員會看到在所有五次觀察中僅有的一個不同尋常用戶的概率是0.03%。用研人員看在三個不尋常的體驗的概率為6%。隨著時間的推移,觀察次數越多,更可能看到典型問題。

問題的發生

我們將討論擴展到用戶遇到的問題上。同樣用概率的規則,讓5個用戶來揭示最明顯的問題,也意味著只有一個用戶觀察到的問題,更可能會比那些不尋常的問題明顯。也就是說,如果你看觀察到有五分之一的用戶有這一個問題,那么這個問題可能影響到的會是8.5倍,而不僅僅是在1%的用戶中進行測試的只是在20%的用戶。

唯一的問題

然而當涉及到問題的出現時,任何被測試的用戶都會遇到許多問題,并且這取決于研究的類型,許多這些問題僅僅只能看到一次——盡管你測試了許多用戶。例如,下面的網格顯示的是有30個用戶參與的一個可用性測試的問題矩陣。共有28問題被記錄下來。其中,第9個問題(32%)只有一個用戶遇到過。

僅僅觀察一個用戶的一個明顯缺點是利益相關者無法區分唯一問題和較常見的問題。只有一個用戶,那么得出的結論就將會是這些問題影響到所有用戶。有兩個或三個用戶來測試的話,至少我們還能將這些唯一和冗余的問題區別開來。但是,我們不能過高的相信我們從那一兩個,甚至三個用戶中得到對該產品的認可。

小樣本的不確定性

讓第三個人成為制勝的關鍵是很有吸引力的想法(每個學校的孩子都知道),實際上,不一定需要很多用戶。例如,如果二分之一的用戶有不好的體驗,百分之九十我們可以認為可能在所有用戶中有12%至88%都在遭受著這不好的體驗。這個范圍有百分之七十六的精確度。通過添加一個用戶打破平衡的局面,我們可以有90%的信心認為這個問題將影響所有用戶的25%至93%(68%的精密)。所以當我們觀察的用戶從2個變成3個時,我們已經提高了8百分點精度。盡管只有8個百分點,但兩個范圍仍然是很巨大的。

結論

當我說觀察兩三個用戶比觀察一個或者零個要好時,不代表觀察兩個或一個比一個都不觀察要糟糕。觀察一個用戶意味著我們沒有辦法評估去用戶與產品互動的許多不同的方式。觀察更多的用戶很重要,識別和解決可用性問題通常是同樣重要的。

僅僅只觀察一個單獨的用戶也測試出一些影響界面設計問題。隨著時間的推移,如果調研人員在每個可用性研究中一直觀察一個隨機的用戶,他們將會更關注那些不同尋常的問題,而不是那些常見的問題。在任何給定的樣本研究中,他們總會有很好的概率被一個不尋常的體驗所誤導,隨著時間的推移,甚至一次單獨抽樣都會將他們聚焦到最常見的問題上。

如果一個研究人員對數據的理解非常糟糕,我想,更多的調研也不過是會導致更多的對用戶曲解罷了。因此,堅信多數勝過少數并沒什么不好,我還是相信有一些用戶調研總比沒有的好。

========================================================

本文由江南大學設計學院研究生譚伊曼翻譯,作者:Jeff Sauro,查看原文

轉載自盒子UI

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!