如果你的產品從一個角度看起來很好，而另一個角度看起來很糟糕，那該怎么辦？

在最近的關于用戶體驗定量研究的培訓研討會時，我被問到一個有趣的問題：

“我領導的團隊負責改造復雜的企業產品，我們一直在進行廣泛的研究，以便為發布做好準備。但前提是風險很高 ，即使是微小的改進也可能帶來巨大的生產力提升，相反，設計中的小問題也可能會給我們的用戶帶來很大的問題。

在我們的定量可用性測試中，與舊產品相比，我們已經看到人們在原型中執行重要任務所需的時間大幅減少。但問題在于，在定性訪談中，我們的用戶非常討厭這個原型，反饋非常消極。請問我們如何調和這一矛盾？我們應該做什么？”

這位負責人描述的情況，對許多以研究為重點的數字產品團隊來說是一個常見的情況。

進行用戶研究的理想方法是使用多種方法，混合定量和定性研究。但是，當那些不同的研究方法講述不同甚至相互矛盾的故事時會發生什么呢？

在本文中，我將考慮針對此情況的一些可能的問題，給出解釋和解決方案。不過，我關于提出問題的負責人的產品和研究的細節很少，但我會根據我被問到的其他問題給出一些理論。

檢查方法

在如上所述的情況下，第一步是檢查每項研究的進行方式。用戶研究面對的是“人”，因此存在大量可能導致錯誤或誤導性的事情發生。

在我們考慮這些矛盾的結果可能意味著什么之前，我們需要檢查每項研究中的一些關鍵組成部分，我們應該在四個方面尋找潛在的問題：參與者、任務、過程、分析。

1. 參與者

誰參與了每一項研究？有多少人參加了每一項研究？有沒有異常值 （那些表現得與其他人不同的人）？

同一用戶群是否參與定量研究和定性研究？這兩項研究的參與者是如何招募的？回答這些問題可能發現結論相互矛盾背后的原因。

例如，研究人員可能決定招募具有不同專業水平的用戶使用該產品。如果新手參與定量研究，但有經驗的用戶提供了定性反饋，那么參與者群體之間的差異可能會影響結果。

2. 任務

定量研究包括哪些任務？

在執行公司的一些核心任務時，用戶可能更有效率。但是，如果用戶經常參與一系列廣泛的任務，那么在整個系統中可能不會存在其在產品某個區域的效率提高。

定性訪談之前有多少曝光？

如果研究人員只是在筆記本電腦上拉出新版本，指出它，并詢問參與者他們的想法，而不給他們實際完成任何任務的機會，這可以解釋一些負面的反應。

如果 UI 沒有足夠的時間來探索其功能，那么用戶可能只是對 UI 看起來新穎且不同的事實做出了反應。

定量研究之前有多少曝光？

用戶在測試系統之前是否給出了任何練習任務？他們是否接受過研究人員的任何培訓？如果定量參與者比定性參與者更多地接觸新系統，他們就有時間克服他們最初的負面反應并學會使用新產品。

3. 過程

這些研究是如何進行的？

我們需要驗證研究是否以合理的現實方式進行——研究具有外部有效性。

例如：假設該產品總是在工廠車間使用，用戶會受到很多環境噪音和干擾。如果研究是在安靜的會議室進行的，那么用戶可能會在新版本中表現更好，但是設計的某些方面可能會使其在現實條件下表現更差。

此外，我們還需要檢查是否存在一些意外問題，因為如何進行定量研究可能會對結果產生偏差，我們可以問：誰在審核這些測試？主持人有多少經驗？

即使很小的混雜變量也可能產生無效結果，例如：想象一下，如果測試新版本產品的所有參與者都是在星期一早上參與測試，測試舊版本的所有參與者在星期五的晚上參與測試。這就可能很容易出現關于測試時間的問題，這些測試會影響參與者的表現。

4. 分析

我們有統計學意義嗎？

對于定量研究，兩種設計之間的差異是否具有統計學意義？換句話說，新版本的任務時間是否更可靠且不太可能產生隨機變化？

如何分析任務的時間？在許多研究中，任務時間僅包括那些成功的嘗試。比如新設計比舊設計更快，但成功率是否可比？如果平均任務時間增加 2 分鐘，但成功完成任務的用戶比例下降了 40％，那對公司和用戶來說仍然是壞事。

人們遇到了哪些類型的錯誤？我們不僅應關注任務，還應關注定量研究期間收集的其他指標，看看它們是否都表明新產品更好。即使新設計的錯誤較少，但它們可能比舊系統的錯誤更嚴重，并且影響了用戶在定性研究中的態度。

解釋結果

如果我們發現方法中沒有實質性的錯誤或解釋，那么就該考慮這兩種質量標準（定量效率和定性滿意度）之間的沖突可能意味著什么。

作為專業人士，我們的工作就是傾聽用戶的意見。正如任何經驗豐富的用戶體驗專家都會告訴你的那樣，雖然這聽起來比實際更容易。因為我們不能只聽取用戶的意見，并遵循他們逐字記錄的請求。

人們通常不知道他們真正想要什么，而且你的用戶不是系統的設計者，他們無法以你的方式看到大局。更糟糕的是，他們的反饋往往受到其他因素的影響（錯誤的記憶，社會壓力，心理偏見等）。

我們不能只是問人們他們想要什么，做他們告訴我們的事情。我們必須收集混合數據（定量，定性，自我報告和觀察）才能真正了解正在發生的事情，然后我們可以使用該信息來解釋用戶所說的內容。

那么，在文章開始的例子中，我們應該如何理解用戶反饋？這似乎與定量數據相矛盾嗎？我們需要看看為什么這些人可能對客觀上更好的產品做出如此負面的反應，而定量研究中的任務時間似乎能更好地反應。

感知的可用性可能與客觀可用性不同

不幸的是，我們并不確切地知道這個特定團隊在定量研究中減少了多少時間，這可能意味著幾秒鐘或幾分鐘。從公司的角度來看，即使減少秒數也可能是非常有益的。

想象一下，成千上萬的員工每年要執行這項任務數千次 ，作為公司層面，這些效率提升很快就會增加，并可以節省成本。

但是，從個人用戶的角度來看，這些收益可能并不重要。如果這是幾秒鐘的改進，個別用戶可能甚至沒有意識到新系統實際上更快，因為她沒有看到自己的任務時間或其他參與者的時間。

人們不喜歡變化

上述這個復雜的企業產品的用戶幾乎每天都在使用它工作，他們中的一些人多年來一直使用相同版本的應用程序。即使它不是最有效的，他們也已經習慣了，他們知道它是如何運作的。

通過改變事物，研究團隊要求用戶投入精力來熟練掌握新版本（用戶討厭改變這是一個常見的發現，這也是在發布之前進行研究的原因，以便可以最大限度地減少后續更改）。

如果定量研究中的用戶在測試之前接受了新系統的培訓或實踐，則可能存在一些初始滯后，引入新界面時，復雜的任務學習新界面需要花費相當多的時間，效率低于僅使用舊的熟悉界面執行任務的人。

下一步

我對這個團隊領導的建議是，首先考慮用戶反饋背后的這些原因，然后退一步看看更具體的問題。當然，在用戶體驗中，定量數據不應該自動否決定性信息或設計者的直覺（采用這種方法會導致滑稽的設計錯誤）。

在權衡相互矛盾的結果時，我們必須意識到——我們始終希望用戶能夠高效，高效地使用我們的產品。

由于賭注很高，并且團隊的研究預算也并不寬泛，我的建議是做出更多的調查，看看這個假設是否正確。團隊可以嘗試與新用戶進行定性測試，選擇與之前的系統接觸程度最小的人，看看他們的反饋是否有所不同。

或者，團隊可以進行系統的可學習性研究，通過多輪定量可用性測試來跟蹤任務時間、任務完成情況和長期滿意度，之后準確完整地描述用戶表現和滿意度隨著人們獲得新產品體驗而變化的情況。

如果新設計確實比舊設計更好，那么團隊應該期望滿意度和性能測量（任務時間和任務完成）隨著時間的推移而增加，并最終達到與當前設計相當或更好的數字。該研究也很好地解釋了——到底需要多久才能克服用戶最初的負面反應。

如果這些研究表明最初的負面反應會被長期滿意度和生產率提高所取代，那么團隊可以確信它正朝著正確的方向前進。

于是，他們可以計劃新系統的增量部署，允許當前用戶在準備好時（而不是在緊迫的截止日期之前）選擇使用新產品可以減少短期的挫敗感。

或者，另一個可能的研究結果是——新設計大多是好的，但舊設計中有一些好的方面應該保留在新版本中。

理解各種結果的矛盾是進行用戶體驗研究的挑戰（和樂趣）的一部分。每種方法都只是一條信息，從不同的角度看待我們的用戶或我們的產品。數據可以告知我們信息和結果，但最終，我們還是要根據自己的分析思路做出最佳選擇。

本文編譯部分來源：

https://www.nngroup.com/articles/interpreting-research-findings/

作者：Kate Moran

編譯來源：用戶行為洞察研究院

本文由 @用戶行為洞察研究院 翻譯發布于人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協議