起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識用戶體驗研究方法論全景圖：什么時候用什么方法
編輯導語：用戶研究的重要性我們都知道，用戶研究的方法也是數不勝數。對于用戶研究來說，什么時候用什么方法至關重要。本文作者以產品開發流程為背景，對用戶體驗研究方法的三個維度進行了分析，并且總結了在不同產品開發階段下，應該如何選擇用研方法。
本文以一個典型的產品開發流程為背景，使用三個維度劃分用戶體驗研究與設計方法，并列舉出在什么場景下應該用什么方法。
寫這篇文章主要有三個背景：
- 一是科普，告訴大家都有哪些研究方法。很多時候由于背景知識的限制，從業者往往只能在自己已知的用戶研究方法中做選擇，本文期待解決“不知道問什么問題”的問題；
- 二是很多公司和團隊過分依賴于兩三種非常熟悉的方法，不熟悉其他方法的的應用場景和細節，導致不敢輕易嘗試。但是兩三種方法并不能適用于全部的情況，且每種方法需要根據使用背景的不同進行調整；
- 三是用戶體驗研究方法本身是有價值的，幾乎所有的項目都能從所有的設計方法中收益，但是由于對于一些設計方法的不了解，團隊無法正確地權衡使用這些設計方法的成本和預期收益。
下圖是判斷選擇哪種用戶研究方法分類的三個維度：
- 研究用戶行為、研究用戶態度；
- 質化研究、量化研究；
- 數據收集過程中，產品的使用環境。
研究人員可以基于你的研究目的、期望的出的結論和實驗條件，來判斷選用哪些研究方法。
一、用戶體驗研究方法的三個維度分析
1. 研究內容的維度：研究用戶態度 ( attitudinal user research ) VS 研究用戶行為 ( behavioural user research )
簡單說就是對比“用戶怎么說”和“用戶怎么做”。
用戶態度研究被廣泛應用于市場調研，其目的是理解或評估用戶對于某個產品的態度，從定性的角度收集用戶的想法，感覺，需求，態度和動機。
由于自覺意識 ( Self-consciousness ) 的存在，人們會在意其他人對自己的看法，人們不想被其他人看穿，所以人們會說謊；由于羊群心態 ( Herd Behaviour ) 的存在，人們傾向于從眾，人們展示共性并隱藏個性，而往往也是通過說謊或只說部分真相的方式。
這就導致我們在做態度研究的時候，如果降低謊言出現的概率、如何識別謊言、如何修正謊言，以及如何讓參與者說出全部的想法，就顯得非常重要。但是往往在商業實踐中，某些產品經理或用戶體研究人員會認為“用戶說的都是真話”。更荒謬的是，還會去根據用戶說的話去做決策。
用戶行為研究主要應用于可用性研究（可用性是用戶體驗的一部分，而非全部，詳見：《當我們在說用戶體驗的時候，我們是在說什么？》中，其目的是：通過用戶與服務/應用/網站等之間的量化交互數據，理解或評估用戶的真實行為。
常用研究方法舉例：
1）卡片分類法 ( Card Sorting )
- 類型：用戶態度
- 使用場景與目的：提供用戶對于某些信息的心智模型 ( Mental Model )，從而得出這些信息在產品中展示的最佳架構 ( Best Information Architecture )，比如展示位置、表達文案、信息分類和聚類等，幫助設計者做決策。
常見問題：
- 卡片中展示的信息本身是有誤的；
- 參與者不是產品的真實用戶，而是產品設計人員；
- 依據分類后結果做設計的時候，沒有考慮人因學 ( Human Factor ) 因素 ( 主要是ABCS )；
- 只考慮了用戶分類的結果而忽視了用戶是基于怎樣的心智模型才這樣分類的。
2）統計調查 ( Survey )
- 類型：用戶態度
- 使用場景與目的：對于用戶自己上報來的信息做評估和分類，幫助追蹤或定位產品中的重要問題，比如產品bug、某些服務器問題或某些不合理的產品設計等比較明顯的問題。
常見問題：
- 線上的調查問卷應該有且僅有一個目標：提高響應率 ( Response Rate )。因為較低的響應率會帶來誤導，低響應率可能會產生誤導性的發現，因為它們是基于對高度忠誠的用戶的偏見樣本而不是大多數用戶；
- 為了讓更多人完成，問卷應該問題少、回答所需時間短、問題簡單、需要通過可用性測試；
- 實踐中， 要避免調查膨脹 ( Survey Bloat ) 的問題，即不同團隊的成員都想在同一份調查問卷中問他們各自關心的問題從而導致整個問卷非常臃腫，從而導致問卷沒有結果或得到錯誤的結果。
3）焦點小組 （ Focus Group ）
- 類型：用戶態度
- 使用場景與目的：探索一組用戶優先考慮意識 ( Top-of-mind Awareness )，了解用戶對于品牌和產品的第一想法?？梢杂脩籼剿饔脩粜枨蠡驅τ谙到y的改進意見，但不能用于可用性測試，不能用于測試UI等。
常見問題：
- 正常配置：1個主持人，6~9用戶，2小時，一般要做多組試驗。很多團隊做焦點小組往往人數過多，且只做一組實驗；
- 用戶說的和用戶做的是有差異的，所以觀察用戶是焦點小組的重要輔助手段；
- 主持人播放demo，好于讓各個用戶實操，因為焦點小組的中探索群體意見而非個人意見；但是看demo是實操還是不同的，因為看demo的話用戶不需要想下一步要干嘛；
- 小心“滑窗口還是滑內容 ( Windowing and Scrolling )”類問題。比如用戶在看一份很長的文件，從上往下一行一行的看，這時候是鼠標滾輪是向上滑（滾動窗口）還是向下滑（滾動內容）比較好？實際操作中，多數人習慣于滾動窗口；但是沒接觸過電腦的人會認為混動內容的方法比較好；
- 小心“研究員偏見”，即選參與者的時候是帶有偏見選的，會傾向于某類人。比如如果是通過電子郵件找到的參與者，則這些人對電腦的感興趣程度會大于平均水平，他們的參與程度( involvement ) 也會更高。
4）A/B test
- 類型：用戶行為
- 使用場景與目的：對比不同方案的優劣，這個是大家在比較熟悉的研究方法。
優勢：
- 真實使用環境中的真實用戶行為；
- 能夠測量出很小的差異，比如兩種設計方案的數值只差1%，但是這1%在統計學上的顯著性可以非常高；
- 有一些設計指南和研究發現并不適用于某些特定群體，可以通過A/Btest的方法找到適合自己用戶的設計方法；
- 便宜。
限制與誤用：
A/Btest最大的限制在于，我們只知道用戶的行為具體是怎樣的，但是不知道用戶的行為為什么是這樣的，因為缺少了對用戶真實行為的觀察；且很難判斷這種行為對于整體商業價值來說是好事還是壞事?，F如今，A/Btest已經成為了一些產品經理的背鍋俠了，“我也不知道哪個方案好，我們A/Btest一下吧！”
5）眼動追蹤 ( Eyetracking )
- 類型：用戶行為
- 使用場景與目的：了解用戶如何在視覺上與產品的設計進行交互，簡單說就是知道用戶在使用不同功能、獲取不同信息的時候，眼睛在看哪兒。
常見問題：
其實最常見的問題就是從業者過于忽略眼動實驗了，業界的刻板偏見是眼動試驗成本高、效果差。但是其實現在眼動設備并不貴，條件限制的話找公司的同事做測試也可。
如果預算實在有限，可以看這個報告《How People Read Online report》。報告非常詳盡地論述了很多變量（比如文化、文字、排版，等等）對于視覺動線的影響。
2. 研究方法的維度：質化研究 VS 量化研究
1）質化研究 ( Qualitative Research )
用于回答 Why & How的問題：
- 為什么要解決某個問題？
- 如何解決此問題？
特點：
- 基于對用戶的直接地觀察，得出用戶的行為或態度的數據；
- 通常研究人員在直接觀察用戶行為的時候，有機會向用戶問問題，通過ABCS的角度探索用戶行為，并了解用戶做某些事情的真實動機，把冰冷的數據和真實的人情聯系起來。
2）量化研究 ( Quantitative Research )
用于回答 How many & How much的問題。
特點：
- 基于數據、量表和分析工具等間接的方法，得出用戶的行為或態度的數據；
- 容易收集到大量數據、容易做數據分析、容易發現某些實驗中非常細微的數據差異。
3. 使用背景的維度
1）自然狀態或接近自然狀態地使用
沒有人工干預；且用戶處于真實的生活/工作等環境中，而非實驗室環境。一般這種狀態的話，可以最小化“研究本身對于用戶的影響”，從而得出最接近用戶真實生活狀態的行為或態度數據。
被觀察者一定會被觀察者影響到，在做出選擇時或者判斷時，很容易因觀察與否而影響結果。我曾經就職于某O2O加油平臺，有一次公司舉辦車友會，這對產品團隊來說是一次非常好的質化研究的實踐。
但是我們發現用戶對于我們產品的認可程度極高，他們不僅能發現產品中的一些彩蛋，還能熟練地知道在如果要在A油站加油的話應該在哪個路口等紅綠燈時打開我們app。
這里面有三個問題：
- 其一是選擇偏差(Selection Bias)：我們邀請車友的消息是在線上發布的，因而被選中的人對互聯網比較熟悉且有關注我們的微信、微博等平臺，所以相對于普通用戶而言他們更了解我們的產品；
- 其二是社會期許誤差(Social Desirability Bias)，由于我們的車友會是設置有獎勵的，所以參與者們期待得到來自于工作人員和其他司機的認可，所以更傾向于說產品的優點和一些“他們認為別人知的事情”來使自己表現得對于產品非常了解；
- 其三是觀察者偏差(Observation Biases)，即人在被觀察的時候的行為與語言，與自然狀態下的是不一樣的。
由于田野調查、民族志等質化研究中不可避免地發生觀察者偏差(observation biases)，學術界也在想辦法解決這個問題，即如何讓被觀察者處于自然狀態或接近自然的狀態，這是非常困難的。
2）用戶在按照腳本使用產品
用戶：
- 處于被觀察的狀態；
- 通常不處于自己平時生活的環境中；
- 被要求按照腳本使用產品，不同研究中，腳本的顆粒度不一樣。
當我們需要聚焦于產品在某個特定方面的應用，或者產品中某個特定功能的時候，讓用戶照本宣科地使用產品就會及大地提升效率，比如電商產品最新redesign的下單流程、或貸款產品的進件功能等。
腳本的顆粒度可以很精細，也可以很粗糙，取決于研究人員的目的。比如 benchamarking study 的腳本就寫得非常非常詳細，這樣才能得出一個完善地當前產品的可用性基準（即產品一定要）。
3）用戶沒有在使用產品本身
往往是一些更寬泛的可用性問題，而非定位產品問題。比如研究用戶的心智模型、文化行為 ( Cultural Behaviors，是指人類后天習得的行為，比如抽煙；而非與生俱來的行為，比如啼哭)等。
4）存在多種情況的 ( Hybrid / Combination )
上述幾種情況中某一種或多種混合，可能是在多種方法同時在使用。
比如參與式設計 ( participatory design )，即用戶參與到設計過程中，他們可以重新排列設計元素，從而了解他們是如何解決問題的，以及為什么做出某個決定。這其中的部分時間用戶是在“按照腳本使用”的場景、部分時間是“用戶沒有在使用產品本身”。
二、不同產品開發階段下，如何選擇用研方法？
我們大致把產品開發分為三個階段：
1. 戰略階段
商品開發的最初階段，用戶需求和商業目標還沒有清晰地定義，此階段的用戶研究工作的目的應聚焦于產生新的想法和探索未來的發展機會。
在這個階段，用戶研究的方法是很多樣的，常用的有：田野研究 (?Field Studies ) 、日記研究 ( Diary Studies) 、統計調查 ( Surveys ) 、數據挖掘 ( Data Mining ) 、數據分析 ( Data Analytics )。
2. 執行階段
此階段已經大概知道了要做什么事以及如何做，此階段的目標是不停地改進設計方向。在執行階段，用戶研究的目標是獲取更多的信息以輔助研究人員做判斷，從而優化設計、降低風險、提升可用性。
在這個階段，應主要采用質化研究，常見的有：卡片分類 ( Card Sorting )、田野研究 ( Field Studies )、參與式設計 ( Participatory Design )、紙質原型 ( Paper Prototype )、可用性研究 ( Usability Studies )，和期望研究 ( Desirability Studies )。
雖然NNGROUP還推薦了使用通過給用戶發郵件來做用戶研究，但是我在實踐中發現，對于中國的用戶來說效果并不好。業界很多中這個階段的公司過于注重量化研究，尤其是妖魔化數據分析的作用，而脫離了用戶的實際場景。
要知道，量化研究中獲取的數據永遠是間接的 ( indirect )；而諸多市值做大的公司，在這個階段都更多地采用了質化研究，比如滴滴在執行階段時候，公司員工很多時間是跟司機呆在一起的；比如樂信在執行階段時候，CEO帶頭在學校門口做推廣，這些推廣的過程不僅使自己的產品被更多人知道，也讓推廣者對于用戶有了更深的認知。
強烈推薦的一本書是《貧窮的本質：我們為什么擺脫不了貧窮》，作者以質化研究的方法為主，結合理論分研究和數據分析，尋找那些經得起檢驗的扶貧方案，為政策制定者、慈善家、政治家及所有希望天下脫貧的人提供了重要指導。
這整個過程與此階段的產品設計的過程是一致的，都是通過大量的質化研究，去嘗試一個個的設計方向，從一次次地錯誤中找到正確的出路。
3. 評估階段
在這個階段，產品不僅可以正常使用，而且已經有了一定量的用戶，可以通過用戶數據來評估產品的表現了。
這個階段的用戶研究，需要更精細、更有針對性，所以主要會應用量化研究的方法，常見的有：可用性基準研究 (?Usability Benchmarking ), 線上評估 ( Online Assessments ), 統計調查 ( Surveys ), AB測試 ( A/B testing )。
三、總結
多數方法是可以沿著X軸或者Y軸移動的，實踐中經濟的（省錢的）做法是，多種方法一起使用從而滿足多個目標。比如卡片分類法可以同時有量化的版本和質化的版本，熟練這些用戶體驗研究方法的最佳辦法是刻意練習。
對于沒有進入職場的學生而言，能夠實地做這些研究是難的，但是可以幾個人湊成小組做模擬研究，也可以拉上自己的家人朋友，自己DIY一些紙質的模型做可用性研究。
下圖是我讀書期間做過的一個游戲的紙質模型：
在這個模型中，用戶可以通過推拉紙條，實現“頁面”上內容的變換。
主要測試點是：
- 數據是橫著滑動好還是豎著滑動好；
- 可以通過遮擋住某一個分類來判斷這個分類的必要性；
- 每一個分類下的內容是否合適、用戶是否理解每一個分類下的內容等。
但是這種小的DIY的模型做起來真的是非常簡單，并不一定要去實習才能獲得“工作經驗”的~對于在職場人而言，有一些公司也沒有那么重視用戶體驗研究，可能都是產品經理做用戶研究專員的。這時候可以：
- 自己多儲備一些理論知識，推薦關注 NNgroup、人人都是產品經理平臺的作者“媛媛大王”等，學習一下別人的項目是怎么做的；
- 通過學習別人的項目反思 ( reflection ) 自己之前做過的項目的優點和問題；
- 在平時的用戶研究和數據分析中，主動去思考如何使用其他的、自己不熟悉的用戶研究的方法去迭代自己當前的研究方法和設計；
- 可以做一些模擬項目的練習，比如，假設自己是滴滴的產品經理，如何設計滴滴司機端的接單頁面呢？可以用紙筆畫一些草圖，然后打滴滴的時候用15秒鐘問一下司機：您能看懂怎么接單嗎？
在中國，一大優勢是人口很多，互聯網普及率非常高，對于互聯網從業者來說，是不難接觸到用戶的；即使接觸不到自己產品的用戶，也能接觸到其他產品的用戶。相比公司內的用戶研究實踐外，研究者往往能從公司外的用戶研究實踐中獲益更多。
要注意的是，這些研究方法并非是非常嚴苛的，不是說采用了某個方法就一定要按照這個方法既定的步驟和流程去執行。在實操的過程中，可以適當調整，但是一定一定要注意偏見 ( bias )?的問題，避免“雖然得到了數據，但是數據不可用”的尷尬局面。
References：
- Bury, K. F., Boyle, J. M., Evey, R. J., & Neal, A. S. (1982). Windowing versus Scrolling on a Visual Display Terminal. Human Factors, 24(4), 385–394. https://doi.org/10.1177/001872088202400401
- Rohrer, C. (2014). When to Use Which User-Experience Research Methods. [online] Nielsen Norman Group. Available at: https://www.nngroup.com/articles/which-ux-research-methods/
本文由 @詩劍天賦 原創發布于人人都是產品經理。未經許可，禁止轉載
題圖來自Unsplash，基于CC0協議
好文
謝謝