定量研究其實沒那么難，本文筆者通過對量化研究方法的一些最常見用例的介紹，以及對每個實例的成本和難度進行估計，來幫大家更好地去找我定量研究的方法。

你是否需要有關產品用戶體驗的數字數據, 但卻不確定應該如何做？

許多從事用戶體驗及研究的專業人士傾向于定性方法論, 而這也這被廣泛認為比定量 (量化) 研究更容易。但不得不承認，定性研究可能回避了較大的樣本規模和量化相關的統計數據問題。

而量化方法卻是經驗豐富的用戶體驗研究員的工具包中應當包含的重要組成部分。

量化方法允許你：

1. 用數字為產品的可用性打上一個標簽；
2. 數字有時比質量測試的結果更有說服力 (特別是當你試圖說服像 CEO 這樣的高管時)；
3. 比較不同的設計 (例如, 產品的新版本與舊版本, 或你的產品與競爭對手的產品)， 并確定你所觀察的差異是否具有統計學意義, 而不是隨機偶然；
4. 改進用戶體驗權衡決策。例如, 如果建議的設計改進預計會花費很大的成本來實現, 它值得做嗎？如果你估計了更改將在一定程度上提高可用性，那么量化方法可以幫助你決定是否值得重新設計；
5. 將用戶體驗改進與組織目標和關鍵績效指標聯系起來 (從而顯示你的投資回報并證明用戶體驗研究團隊的價值）。

定量研究，首要確定的是：到底需要哪種量化研究方法？

在此，我們介紹一些目前最流行的量化研究類型：

1. 定量可用性測試 (基準測試)
2. 網絡分析 (或 App Analytics)
3. A/B 測試或多變量測試
4. 卡片分類
5. 樹測試
6. 調查和問卷調查
7. 聚類定型數據
8. 可取性研究
9. 眼動測試

每種方法都產生有價值的數量數據, 但這些技術在所收集的數據類型，以及所需的資源和工作量方面差別很大。

本文列出了這些方法的最常見用例，并估計了每個實例的成本和難度。此外，應該知道，這些方法中都需要不同的最小樣本量來確定統計意義。

一、定量可用性測試（基準測試）

• 用途：隨時跟蹤可用性、與競爭對手比較
• 費用：中等
• 收集難度：中等
• 分析難度：中等
• 方法類型：行為
• 使用環境：基于任務

雖然不經常使用，但定量可用性測試（有時稱為可用性基準測試）很像定性可用性測試——用戶被要求使用產品執行實際任務。

兩者之間的主要區別在于，可用性測試優先考慮觀察，例如識別可用性問題。相比之下，量化可用性測試側重于收集任務或成功時間等指標。

一旦你收集了具有相對較大樣本量（大約 35 個參與者或更多）的指標，你就可以使用它們跟蹤產品的可用性隨時間推移的進度，或者將其與競爭對手產品的可用性進行比較。

你選擇的可用性測試類型（面對面，遠程主持或遠程未經調度）將影響成本，由于定量和定性可用性研究的目標不同，測試的結構和使用的任務也需要不同。

二、網絡分析（或 App Analytics）

• 用途：檢測或優先排序問題、監控性能。
• 成本：低
• 收集難度：低
• 分析難度：高
• 方法類型：行為
• 使用環境：live

分析數據描述了人們對你的實時產品做了什么：他們去哪里、他們點擊了什么、他們使用了什么功能、他們來自哪里，以及他們決定離開網站或應用程序的頁面。

此信息可以支持各種用戶體驗活動。特別是它可以幫助你監控產品中各種內容：UI 或功能的性能，并確定哪些是真的不起作用。

三、A / B 測試或多變量測試

• 用途：比較兩個設計選項
• 成本：低
• 收集困難：低
• 分析困難：低
• 方法類型：行為
• 使用情況：live

雖然你可以使用分析指標來監控產品的性能，但你也可以創建實驗來檢測不同的 UI 設計如何通過 A / B 測試或多變量測試來更改這些指標。

在 A / B 測試中，團隊創建同一 UI 的兩個不同的實時版本，然后將每個版本顯示給不同的用戶，以查看哪個版本的性能最佳。

例如，你可以創建相同號召性用語按鈕標簽的兩個版本：“獲取定價”與“了解更多信息”，然后，你可以跟蹤按鈕在兩個版本中收到的點擊次數。

多變量測試類似，但涉及一次測試多個設計元素（例如，測試可能涉及不同的按鈕標簽，排版和頁面上的位置。）

這兩個基于分析的實驗都非常適合決定同一設計的不同變體，并且可以結束團隊關于哪個版本最佳的爭議，但這種方法的一個主要缺點是它經常被濫用。

四、卡片分類

• 用途：確定信息架構標簽和結構
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：態度（人們怎么說）
• 使用環境：不使用產品

在卡片分類研究中，參與者被給予內容項目（有時字面上寫在索引卡片上），并要求以對他們有意義的方式對這些項目進行分組和標記。

該測試既可以親自進行，也可以使用實體卡進行，也可以使用卡片分類平臺進行遠程測試。

這種方法為你提供了進入用戶信息空間的心理模型的機會。他們使用什么術語？他們如何在邏輯上將這些概念組合在一起？對創建類似分組的參與者的百分比進行定量分析可以幫助確定大多數用戶可以理解哪種分類方法。

五、樹測試

• 用途：評估信息架構層次結構
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：行為
• 使用環境：基于任務，不使用產品

在樹測試中，參與者嘗試僅使用你站點的類別結構來完成任務。它本質上是一種評估你的信息架構的方法，通過將其與 UI 的所有其他方面隔離開來。

假設你的產品是寵物用品網站，這是你的頂級層次結構，你可能會要求參與者完成一項任務——找到狗項圈。

樹測試結果的定量分析將顯示人們是否能夠在信息層次結構中找到該項目的正確路徑，以及有多少參與者選擇了錯誤的類別。此方法可用于識別 IA 結構，標簽和展示位置是否符合人們的期望。

六、調查和問卷調查

• 用途：收集有關您的用戶他們的態度和行為的信息
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態度
• 使用環境：任何

調查是一種靈活的用戶研究工具。你可以在各種環境中管理它們：在實時網站、電子郵件或可用性測試之后進行短暫攔截調查等。

它們可以產生定量和定性數據的組合——評級，多項選擇題中每個選項的答案比例，以及開放式答案。你甚至可以將對調查的定性響應轉換為數值數據。

你可以創建自己的自定義調查，也可以使用許多已建立的問卷中的一個（例如，系統可用性量表或凈推薦值得分）。調查問卷的一個優點是，你通?？梢詫⒔Y果與行業或競爭對手的分數進行比較，以了解你的工作情況。

即使你創建自己的自定義調查問卷，也仍然可以跟蹤你的平均分數以監控產品改進。

七、聚類定性數據

• 用途：識別定性數據中的重要主題
• 成本：低
• 收集難度：中等
• 分析難度：中等
• 方法類型：態度（人們怎么說）
• 使用環境：任何

這種技術不是數據收集方法，而是更多的定性數據分析方法。

它涉及根據共同主題對來自定性研究（例如日記研究、調查、焦點小組或訪談）的觀察進行分組。如果你有大量觀察結果，則可以計算提及特定主題時的實例數。

例如，假設你進行日記研究，要求參與者每次在日常生活中使用你的產品并進行一周報告，目的是了解他們在何種環境中使用你的產品。

此方法可以識別特定主題或情況的普遍性或頻率，例如，用戶投訴的頻率或 UI 問題。這種方法是從大量定性信息中挖掘數值數據的好方法，但它可能非常耗時。

八、可取性研究

• 用途：識別與您的產品或品牌相關的屬性。
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態度
• 使用環境：基于任務

定量可取性研究試圖量化和衡量產品的某些質量，例如美學吸引力、品牌強度、語調。

這些研究可以根據你的研究問題進行定制，但通常包括首先將參與者暴露給你的產品（通過向他們展示靜止圖像或要求他們使用實時產品或原型）。

然后，你將要求他們通過從描述性詞匯列表中選擇選項來描述設計。隨著樣本量越來越多，一些趨勢則開始出現。 例如：你可能有 84％ 的受訪者將設計描述為“新鮮”。

九、眼動測試

• 使用：確定哪些 UI 元素分散注意力，可查找或可發現。
• 成本：高
• 收集難度：高
• 分析難度：高
• 方法類型：行為
• 使用環境：基于任務

眼球跟蹤研究需要特殊的設備，來跟蹤用戶在界面上移動時的眼睛。 當許多參與者（30 個或更多）在同一界面上執行相同的任務時，有意義的趨勢開始出現，你可以通過一些可靠性告訴頁面的哪些元素會吸引人們的注意力。

眼動測試可以幫助你確定需要強調或強調哪些界面和內容元素，以使用戶能夠實現其目標。

運行眼球跟蹤研究的一個主要障礙是高度專業化、極其昂貴且有些不穩定的設備以及需要大量的培訓才能使用。在嘗試確定使用哪種定量方法引導你的研究問題時，你需要了解什么？

例如：

• 我們的產品可用性如何隨時間而變化？
• 與競爭對手相比，我們的表現如何？
• 我們哪個問題影響最大？我們應該如何優先排序？

對于這些類型的問題你可能希望使用定量可用性測試、網站分析或調查。

當你想要回答更具體的問題時，或許其他方法更佳。 例如：

• 我們應該如何修復我們的全球導航類別？
• 我們的大多數用戶對我們的視覺設計有何看法？
• 我們應該在儀表板中使用這兩種設計方案中的哪一種？

對于這些研究問題，你可能希望使用 A / B 測試、卡片分類、樹木測試、編碼定性評論，可取性研究或眼球跟蹤。

但是，這些建議中有一些灰色地帶。 例如：出于安全或技術原因，A / B 測試可能不是貴公司的選項。

如果是這種情況，你可以進行面對面的量化可用性研究來比較兩個原型。但是，這不是定量可用性測試的典型用法，所以沒有在這里討論它。

在研究問題之后，選擇方法的第二個最有影響力的因素是成本。

這些方法的成本會有很大差異，具體取決于你實施研究的方式。你使用的工具、你擁有的參與者數量以及研究人員花費的時間都將影響最終成本。

低預算團隊將依賴數字方法——遠程可用性測試、在線卡片分類平臺、如 OptimalSort、A / B 測試以及 Web 或應用程序分析。

根據經驗，現場方法（例如：面對面的可用性測試，面對面的卡片種類）往往更昂貴，因為它們需要更多消耗研究人員更多的時間。

此外，他們可能需要旅行和設備租賃。眼動測試是這里列出的最昂貴的方法，應該只有具有大預算和研究問題的團隊才能使用它。

一旦選擇了方法，就要了解它，并確保你獲得有用的成果。

警告：不能只收集指標并開始做出決策而不進行任何統計分析。僅收集來自 5 個用戶的評級規模響應，取平均值并繼續前進是不夠的。

對于此處討論的每種方法，都建議最小樣本量以獲得可靠的數據并確定統計顯著性。如果你不這樣做，你無法保證你的發現不只是僥幸。

無論你選擇哪種方法，一定要考慮研究相關統計概念所需的時間。我保證，定量研究不像它看起來那么難，對于你的定量數據來說非常值得。

作者：研如玉，神策數據·用戶行為洞察研究院 公眾號（ID：SDResearch）

本文作者：Kate Moran

文章來源：Nielsen Norman Group

本文由 @研如玉 翻譯發布于人人都是產品經理，未經許可，禁止轉載

題圖來自Unsplash，基于CC0協議