如何設計問卷,才能收集到高質量的數據?
?在用戶研究中,問卷調查是最重要的工作之一。因此,問卷設計就顯得重要。enjoy~
問卷的質量會直接影響到收集到的數據的質量。在面對問卷設計的時候,我們往往過于輕敵,自以為已經做得很好,其實一些基本原則和注意事項很容易被忽視。
問卷調查的好處在于,我們能夠通過來自大樣本的結構化數據,對事實作出精準的描述和推斷,這是定性研究所難以做到的。
但是,一個問卷調查,如果對錯誤的用戶提了錯誤的問題,收到的數據將無法反應實際情況。更可怕的是,如果我們對此一無所知,輕信問卷數據的質量,就會得出具有誤導性的結論。
問卷調查還有另一個風險,就是我們往往依賴問卷填寫者的自我報告,他們填寫的答案往往會受到自身的一些認知局限的影響,未必能反映客觀事實,這也是我們在設計問卷的過程中需要盡量避免的。
問卷測得的數據與實際情況之間存在的偏差,主要受到以下因素的影響:
人
人的回憶是不準確的:相比于自己做過某事,人們很容易忘記自己沒有做過某事;人們很難記起往事發生的確切時間;人們很難記起大多數經歷的細節。
人在回答問題的時候可能會受到社會期許效應的影響。人們了解社會對人的行為有一定的期待,也擔心自己的某些真實情況不被他人認可。因此他們傾向于根據社會的期許來調整自己的答案。
人們總是傾向于給出答案,即使自己并不清楚。
人們報告的往往是他們對事情的理解,未必與客觀事實一致。
問卷
問題的措辭、選項的措辭、選項的順序和前后文語境都會影響用戶對問題的理解,從而也就影響了用戶的回答。
那么,對于問卷設計來說,好問題的標準是什么?
好問題首先要有明確的測量目標,也就是問題實際上要測量的事件是什么;其次,對于這個測量目標,好問題能夠有較高的信效度,也就是能夠達到穩定而準確。
要盡量減少測量的偏差,有幾個基本條件:
- 要讓用戶,并且是所有的用戶都能夠以與你相同的方式理解問題。需要檢視問題中的每一個概念,確保沒有歧義。比如,“運動”是否包含“散步”?“月收入”是指稅前還是稅后、是否包含投資理財等其他收益?
- 確保用戶能夠回答你的問題。用戶可能因為不知道相關信息(“你上周通過運動消耗了多少卡路里?”)、無法準確回憶起相關信息(“你上個月有幾天沒吃早餐?”)等原因而無法回答。
- 確保用戶愿意回答你的問題。如果用戶不愿意回答,他們可能隨便選擇一個答案來應付。如果涉及到比較敏感的問題,讓用戶知道為什么你要問這個問題,并且讓他相信你會對此保密。
- 確保每個用戶都能找到適合自己實際情況的選項,并且避免誘導他們做出不符合實際情況的選擇。
研究設計
在開始動手編制問卷之前,我們需要先搞清楚一些更核心的問題。
目標調查對象是誰?我們需要對目標群體有一定的了解,包括他們掌握的相關信息、習慣使用的術語等,才能夠提出合適的問題。
研究目的是什么?我們做的研究可能有需求方,了解清楚他們的期望。嘗試用一句話描述本次調研的目的,這考驗的是我們對研究關注的核心問題以及研究的根本價值的了解。
目的→假設→變量→問題。從根本目的出發,我們可以衍生出一些具體假設。如果條件允許,可以先對目標群體做個訪談,幫助我們拓展思路和形成假設。
每一個具體的假設都揭示了我們應該測量哪些變量,而每個變量可能需要用多個問題去測量。“目的→假設→變量→問題”這個架構樹幫助我們緊貼研究目標去思考應該提出哪些問題。
目的-假設-變量-問題
也可以通過讓團隊成員頭腦風暴的方式來收集團隊想要了解的問題(不需要寫出規范的問卷題目)。但是需要注意的是,每一個問題都需要有存在的理由,即它對研究目標的貢獻是什么。最終留下的問題數量盡量不要太多。30個題目的問卷大概就需要用戶花費20分鐘去填寫,如果超過20分鐘,問卷的回應率和答題質量都會有所下降。
問題設計
我們已經列出了為了達到研究目的,我們需要知道的問題的清單。下一步是好好設計這些問題的措辭,以避免不必要的測量誤差,提高測量的準確度。下面是一些通用法則:
讓用戶預測自己的行為往往不準確,直接問他們過去的行為可能更好。用戶在預測自己行為方面往往做得不太好,如果你問他們是否會使用某個產品或者服務,他們很可能會說“會”,但是這并不可信。直接問行為,用用戶過去的行為去預測他未來的行為更加可靠。
避免問否定性的問題,填寫者可能會少看了“不”字。比如,當你的問題是“下列哪些因素對你來說最不重要?”時,用戶可能因為粗心而看成“下列哪些因素對你來說最重要?”
推測原因、提供解決方案對用戶來說都較難回答,盡量不讓用戶回答這些問題。“你是否曾經因為找不到某個功能而放棄使用A網站?”用戶也許記得放棄使用A網站的經歷,但他們未必能夠意識到放棄使用的原因。
不要一次問多件事。“在購買紙質圖書或電子圖書時,你最看重哪些因素?”這樣的問題會讓用戶產生困惑,究竟要回答前者還是后者,尤其是兩者對應的答案不一致時。對研究員來說,這種問題的答案也很難分析,無法清晰地界定用戶的選擇代表的具體意義。
當用戶選擇“是”時,能夠說明什么?
避免在問題中隱含假設。“你最喜歡A網站的什么?”這個問題假設了用戶對網站的某些部分存在好感,但是這個假設未必成立。
不要問極端的問題。“你每次上網都瀏覽新聞嗎?”由于極端問題出現的概率較低,對于這種問題大多數的用戶會回答“否”。這樣獲得的數據沒有太大價值。直接詢問頻率可以獲得更加具體的信息。
明確你感興趣的時間期限。“你購買化妝品的頻率是?”用戶可能會根據最近一個月、最近半年或者最近一年的情況來作答,真正糟糕的是不同的用戶可能會選擇不同的時間期限。因此說明你希望用戶根據哪段時間的情況做判斷會更好。
選項設計
選項要對稱。選項的正向和反向形容需要有相同的粒度和強度。如下圖的選項不正確地給了負向情緒以更高的強度。
選項不對稱
保證所有用戶都有合適的選項。最好窮盡所有可能,如果無法做到,也可以提供一個“其他”選項給那些沒有被覆蓋到的用戶。即使是李克特量表,有時也需要加入一個“不適用”選項,避免強迫用戶選擇。
應該提供一個“其他”選項
選項要很具體。不要有含糊不清的表述,能夠用數字表達的盡量不用“很少”“經?!边@類表述。
選項要互斥。如果是單選題,一個用戶不能夠既符合A選項,又符合B選項。如下圖,“情有可原”表示“不該,但是可以理解”,那么持這種觀點的用戶應該選擇“不該”還是“情有可原”?
選項不互斥
選項的順序要一致。比如1永遠是最不同意,5永遠是最同意(或者相反)。如果一份問卷中選項的方向發生改變,用戶可能沒有注意到或者習慣性按照原來的方向進行選擇。
如果答案沒有邏輯順序,盡量做到隨機排列。順序可能會影響用戶的選擇,我們通過隨機的方式來降低這種影響。
選項的含義要清晰。“我經常做有氧運動?!?、不同意”當用戶選擇不同意的時候,表示的是自己做有氧運動的頻率低于“經?!?,還是高于“經常”?
順便說說訪談
訪談和問卷調查類似,都是向用戶提問題。它們之間最大的不同是,問卷調查得到的答案是封閉式的、結構化的,而訪談得到的回答是開放式的、難以預期的。
訪談和問卷遵循一些相同的提問原則,比如不要帶有引導性,要盡量消除社會期許的影響,盡量詢問事實而非讓用戶預測等。
但是訪談是人跟人的對話,而不是人跟問題的對話。所以訪談員未必跟著設計好的提綱走。如果被訪者對問題存在疑問或者誤解,訪談員有機會去發現并進行解釋;訪談員還可以針對被訪者的回答進行追問,以便對問題有更深入的了解。
問卷調查對問卷設計的要求很高,數據質量很大部分依賴于此。但是訪談除了遵循一些和問卷設計一樣的規則之外,更多地依賴于訪談員的訪談技巧和現場發揮
作者:鄭少娜,云之家里一只特立獨行的用戶研究員。想把生活踩在腳下,說:“叫你搞事情!叫你搞事情!”
本文來源于人人都是產品經理合作媒體@金蝶云之家體驗中心(微信ID:UXD-Cloudhub),作者@鄭少娜
求問,市場調查要多少份問卷調查?