深度總結可用性測試(下):定量與定性
編輯導讀:在產品設計流程中,可用性測試是繞不開的一個環節??捎眯詼y試包括定性和定量研究。具體有什么區別?要注意哪些問題?遵循哪些步驟?本文作者從概念、差異、使用流程和結果等多個方面對此展開了分析說明,與大家分享~
定性與定量這兩種互補類型的用戶研究在迭代設計周期中都扮演著重要的角色。定性研究指導設計過程;定量研究為基準規劃和投資回報率計算提供了基礎。
- 要點:定性數據,由觀察結果組成,確定容易或難以使用的設計特征定量數據,以一個或多個度量(如任務完成率或任務時間等等)的形式表示,反映產品是否真的好用
- 數據:我不要你覺得,我要我覺得
一、定性和定量的區別
1. 定性研究
定性數據提供了參與者體驗系統可用性的直接評估并產生的結果,并推斷出設計的哪些方面存在問題,哪些方面體驗/設計得很好。然后在根據我們自己的交互/設計的知識來判斷是否改變優化產品設計目標。
2. 定量研究
定量數據提供了對設計可用性的間接評估。它們可以基于參與者在特定任務上的表現(例如,任務完成時間,成功率,錯誤數量),或者可以反映參與者對可用性的感知(例如,滿意度評級)。
定量研究度量的標準只是簡單的數字。因此,在沒有參考點的情況下,它們很難解釋。
例如,如果在一項研究中,60%的參與者能夠完成一項任務,這是好事還是壞事?這很難說是絕對的。這就是為什么許多定量研究的目標通常不是描述一個網站的可用性,而是與一個已知的標準、競品體驗或以前的設計版本進行比較。
雖然定量數據結果可以告訴我們,我們的設計可能是不可用的,但相對于參考點,它們不能指出參與者遇到了什么問題;也沒有告訴我們在設計中需要做哪些得到改變,才能在下次得到更好的結果;也沒有說明為什么參與者在完成這項任務時遇到了什么困難。為了理解界面的具體可用性問題,研究人員通常需要使用定性的方法來補充定量的數據。
二、定性和定量的差異
定性和定量數據需要稍微不同的研究設置和非常不同的分析方法。他們很少同時收集一組相同的數據,因此這是定性和定量用戶研究之間的差異。在迭代設計周期中,定性和定量測試也都是必不可少的。
因為只有定量研究才能讓我們看到設計后給出一個數值,并清楚地說明我們的新版本比舊版本改進了多少——也就是ROI。(反正領導述職必備,你想述職的更專業,那你就學起來吧?。?/p>
(題外話:盡管正兒八經的定性定量研究在我們的實際工作場景中會很少用到,但是我還是很想去普及這件事情。在大廠這些很常見,有著專門的用研團隊,想去大廠必學用研,想去專業的團隊也必學。)
雞湯:
老板和領導都是喜歡有能力的下屬,這沒錯吧。你如何證明你有能力?圖畫的比別人好?那這個是僅限對你自己,對老板產生了什么價值?你想加薪老板不給,你想晉升,領導不同意。你怎么辦?跳槽?還不是死循環。
什么叫有能力,就是到你表現的機會了,你就要抓住。悄咪咪的打工,然后驚艷所有人。功成名就。這就是你有能力、有價值的點。
最近又看了一遍《奇葩說》中的某一集,講的是該不該996。這里我就不說了,期待與你們的battle。
下表總結了兩類研究的差異。你也可以自己進行總結,但是核心點不是變的。
要點:
迭代設計周期:定性與定量對現有設計的評估,決定重新設計當前系統可用性。一旦新版本完成,就可以對其進行評估并與初始版本進行比較。
三、定性和定量的使用流程
第一階段和第三階段涉及總結性研究
它們提供一個設計的總體評估。在這些步驟中,可以使用定性、定量的研究方法(或組合)來評估設計。如果目標是明確地計算出重新設計改進了多少,就必須使用定量研究。這種定量地評估設計的每個版本并將其與以前的版本進行比較的過程稱為基準測試。
第二階段和第四階段涉及形成性研究
(通過定性方法完成)
在重新設計階段,用戶研究扮演著一個形成性的角色,它意味著為設計提供信息,并引導它做出正確的設計。在這個階段,設計師/研究人員獲取的用戶數據,以便能夠在不同的設計方案中進行選擇,并創建一個可用的UI。在這個階段,定性研究通常是最合適的。我們都知道7-8參與用戶定性研究可能會發現85%可用性的問題。
四、什么時候使用定性和定量?
定性研究非常適合識別設計的主要問題。例如,我們如何提高用戶在填寫表單時的效率,根據研究發現,我們將表單字段名稱精簡,減少選擇,整理操作路徑,后就可以提高填寫效率了。
相反,我們同樣針對填寫表單時,用到了定量。那這個時候無疑是在增加工作成本。雖然是測試到了效率問題總結出了可用性不好等等因素,可是這些花費高成本的代價就有點得不償失了。
要點:
定性可以在任何時候進行可用性測試而定量研究需要針對完成的項目進行。原因就是,定量研究需要大量的參與者支持,成本過于高昂。
五、結果:定性和定量
定性數據通常由一組內容發現并組成,這些發現確定(并根據嚴重程度劃分優先級)設計的優缺點。但是,這些發現是估計的,因為它們是基于用研人員設定的問題和解釋用戶行為含義的知識和經驗水平。不同的從業者通常會在同一個用戶測試會話中識別不同的問題(這種稱為評估者效應的現象)。當然啦,招募的參與者也有關系。
定量研究通常涉及相對大量的用戶(通常超過30人),并使用統計技術(如:置信區間)來保護自己不受這些隨機事件的影響。
要點:
在你出去面試吹牛逼的時候,跟面試官說我做過定量。面試官對你感興趣了,體量多少呀,30人,什么數據,效率和時間等總結出我們需要改進點,你如何區分這些點的準確性,置信區間90%,那剩下的10%,問題出現在在哪?出現在,我們與每個人交流時出現的溝通意外或者每個人的理解程度不一樣。
當報告正確時,定量研究將包括關于結果統計意義的信息。例如,誤差范圍可以幫助你了解你有多相信研究結果。
直白了說,不管你換了多少批人都無法改變這個可信任的數值。就是這么神奇!
因此,當定量研究被正確地進行和分析時,你就可以確信他們的結果是可靠的。而不是運氣。
六、方法:定性和定量
從表面上看,定量和定性的用戶測試看起來非常相似(例如,它們都涉及用戶在設計中執行任務)。兩種類型的研究都需要遵循良好實驗設計的基本規則。
由于定量的人數會比定性的人數要多好幾倍,所以在話術設置和參與者背景的差異會增加測試難度,導致更大的誤差范圍,因此定量研究的目標是盡可能地減少差異。
1. 定量的條件需要嚴格的控制
- 確保所有的參與者都在盡可能相同的環境中運行。
- 從練習小任務開始(上一篇文章也具體說了要如何控制)
- Think aloud 在定量研究中不推薦。
- 個人信息(上一篇文章也具體說了要如何控制)
2. 定性的條件可以根據情況變動
- 可以在不同的階段改變研究目標
- 發現任務無法活動想要的數據,請及時更改。以確保下一個訪談能按需進行(隨機應變)
- 考驗的是洞察力而不是數據分析
七、結論
定性和定量用戶測試是服務于不同目標的互補方法。
- 定性測試涉及到少量的用戶(7-8),并直接識別界面中的主要可用性問題。它經常被用于形式化的設計過程,并引導它向正確的方向發展。
- 定量可用性測試(或基準測試)是基于大量的參與者(通常超過30人);當分析和解釋正確時,定量測試的結果對隨機噪點有更高的保護(統計結果)。定量研究通過任務完成率、任務時間或滿意度評分等。指標對可用性提供了一種間接的總結性評估,通常用于在設計迭代過程中跟蹤系統的可用性。
#相關閱讀#
作者:交互思維鋪子;公眾號:交互思維鋪子
本文由 @交互思維鋪子 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
如果沒辦法現場測試的話,可以試試遠程測試。遠程測試就需要專門的工具了,國外有Usertesting UserFeel等平臺,可以提供測試員,設計測試流程。國內的話建議使用測試鵝。
學生愚笨;老師您能舉個更簡單的例子說明定性和定量嗎?
這兩者都是:總結誰是帥哥
定性:從人群中,發現了你,你的鼻子和研究是符合帥哥的,最后總結你就是帥哥。
定量:從人群中,抽取樣本,你這個人,鼻子是90%是符合帥哥的,嘴70%符合帥哥,臉100分符合帥哥(在從這些數值里面,推算可信度,然后總結你就是帥哥)
鼻子和研究(改正為:眼睛)打錯字了
繼續跟進這個問題(誰是帥哥)
定性呢:你可以理解為,評委專家,親自到你面前,觀看你是否符合帥哥
定量呢:評委專家,看不到你的真人,只能通過數據判斷你是不是帥哥
沒想到竟然收到回復了,欣喜萬分,感謝老師的講解 ,明白了
好復雜的