如何設(shè)計問卷,才能收集到高質(zhì)量的數(shù)據(jù)?
問卷調(diào)查對問卷設(shè)計的要求很高,數(shù)據(jù)質(zhì)量很大部分依賴于此。
問卷的質(zhì)量會直接影響到收集到的數(shù)據(jù)的質(zhì)量。在面對問卷設(shè)計的時候,我們往往過于輕敵,自以為已經(jīng)做得很好,其實(shí)一些基本原則和注意事項(xiàng)很容易被忽視。
問卷調(diào)查的好處在于,我們能夠通過來自大樣本的結(jié)構(gòu)化數(shù)據(jù),對事實(shí)作出精準(zhǔn)的描述和推斷,這是定性研究所難以做到的。
但是,一個問卷調(diào)查,如果對錯誤的用戶提了錯誤的問題,收到的數(shù)據(jù)將無法反應(yīng)實(shí)際情況。更可怕的是,如果我們對此一無所知,輕信問卷數(shù)據(jù)的質(zhì)量,就會得出具有誤導(dǎo)性的結(jié)論。
問卷調(diào)查還有另一個風(fēng)險,就是我們往往依賴問卷填寫者的自我報告,他們填寫的答案往往會受到自身的一些認(rèn)知局限的影響,未必能反映客觀事實(shí),這也是我們在設(shè)計問卷的過程中需要盡量避免的。
問卷測得的數(shù)據(jù)與實(shí)際情況之間存在的偏差,主要受到以下因素的影響:
(1)人
- 人的回憶是不準(zhǔn)確的:相比于自己做過某事,人們很容易忘記自己沒有做過某事;人們很難記起往事發(fā)生的確切時間;人們很難記起大多數(shù)經(jīng)歷的細(xì)節(jié)。
- 人在回答問題的時候可能會受到社會期許效應(yīng)的影響。人們了解社會對人的行為有一定的期待,也擔(dān)心自己的某些真實(shí)情況不被他人認(rèn)可。因此他們傾向于根據(jù)社會的期許來調(diào)整自己的答案。
- 人們總是傾向于給出答案,即使自己并不清楚。
- 人們報告的往往是他們對事情的理解,未必與客觀事實(shí)一致。
(2)問卷
問題的措辭、選項(xiàng)的措辭、選項(xiàng)的順序和前后文語境都會影響用戶對問題的理解,從而也就影響了用戶的回答。
那么,對于問卷設(shè)計來說,好問題的標(biāo)準(zhǔn)是什么?
好問題首先要有明確的測量目標(biāo),也就是問題實(shí)際上要測量的事件是什么;其次,對于這個測量目標(biāo),好問題能夠有較高的信效度,也就是能夠達(dá)到穩(wěn)定而準(zhǔn)確。
信效度圖解
要盡量減少測量的偏差,有幾個基本條件:
- 要讓用戶,并且是所有的用戶都能夠以與你相同的方式理解問題。需要檢視問題中的每一個概念,確保沒有歧義。比如,“運(yùn)動”是否包含“散步”?“月收入”是指稅前還是稅后、是否包含投資理財?shù)绕渌找妫?/li>
- 確保用戶能夠回答你的問題。用戶可能因?yàn)椴恢老嚓P(guān)信息(“你上周通過運(yùn)動消耗了多少卡路里?”)、無法準(zhǔn)確回憶起相關(guān)信息(“你上個月有幾天沒吃早餐?”)等原因而無法回答。
- 確保用戶愿意回答你的問題。如果用戶不愿意回答,他們可能隨便選擇一個答案來應(yīng)付。如果涉及到比較敏感的問題,讓用戶知道為什么你要問這個問題,并且讓他相信你會對此保密。
- 確保每個用戶都能找到適合自己實(shí)際情況的選項(xiàng),并且避免誘導(dǎo)他們做出不符合實(shí)際情況的選擇。
研究設(shè)計
在開始動手編制問卷之前,我們需要先搞清楚一些更核心的問題。
目標(biāo)調(diào)查對象是誰?
我們需要對目標(biāo)群體有一定的了解,包括他們掌握的相關(guān)信息、習(xí)慣使用的術(shù)語等,才能夠提出合適的問題。
研究目的是什么?
我們做的研究可能有需求方,了解清楚他們的期望。嘗試用一句話描述本次調(diào)研的目的,這考驗(yàn)的是我們對研究關(guān)注的核心問題以及研究的根本價值的了解。
目的→假設(shè)→變量→問題
從根本目的出發(fā),我們可以衍生出一些具體假設(shè)。如果條件允許,可以先對目標(biāo)群體做個訪談,幫助我們拓展思路和形成假設(shè)。每一個具體的假設(shè)都揭示了我們應(yīng)該測量哪些變量,而每個變量可能需要用多個問題去測量。“目的→假設(shè)→變量→問題”這個架構(gòu)樹幫助我們緊貼研究目標(biāo)去思考應(yīng)該提出哪些問題。
目的-假設(shè)-變量-問題
也可以通過讓團(tuán)隊(duì)成員頭腦風(fēng)暴的方式來收集團(tuán)隊(duì)想要了解的問題(不需要寫出規(guī)范的問卷題目)。但是需要注意的是,每一個問題都需要有存在的理由,即它對研究目標(biāo)的貢獻(xiàn)是什么。最終留下的問題數(shù)量盡量不要太多。30個題目的問卷大概就需要用戶花費(fèi)20分鐘去填寫,如果超過20分鐘,問卷的回應(yīng)率和答題質(zhì)量都會有所下降。
問題設(shè)計
我們已經(jīng)列出了為了達(dá)到研究目的,我們需要知道的問題的清單。下一步是好好設(shè)計這些問題的措辭,以避免不必要的測量誤差,提高測量的準(zhǔn)確度。
下面是一些通用法則:
讓用戶預(yù)測自己的行為往往不準(zhǔn)確,直接問他們過去的行為可能更好。用戶在預(yù)測自己行為方面往往做得不太好,如果你問他們是否會使用某個產(chǎn)品或者服務(wù),他們很可能會說“會”,但是這并不可信。直接問行為,用用戶過去的行為去預(yù)測他未來的行為更加可靠。
避免問否定性的問題,填寫者可能會少看了“不”字。比如,當(dāng)你的問題是“下列哪些因素對你來說最不重要?”時,用戶可能因?yàn)榇中亩闯伞跋铝心男┮蛩貙δ銇碚f最重要?”
推測原因、提供解決方案對用戶來說都較難回答,盡量不讓用戶回答這些問題。“你是否曾經(jīng)因?yàn)檎也坏侥硞€功能而放棄使用A網(wǎng)站?”用戶也許記得放棄使用A網(wǎng)站的經(jīng)歷,但他們未必能夠意識到放棄使用的原因。
不要一次問多件事。“在購買紙質(zhì)圖書或電子圖書時,你最看重哪些因素?”這樣的問題會讓用戶產(chǎn)生困惑,究竟要回答前者還是后者,尤其是兩者對應(yīng)的答案不一致時。對研究員來說,這種問題的答案也很難分析,無法清晰地界定用戶的選擇代表的具體意義。
避免在問題中隱含假設(shè)。“你最喜歡A網(wǎng)站的什么?”這個問題假設(shè)了用戶對網(wǎng)站的某些部分存在好感,但是這個假設(shè)未必成立。
不要問極端的問題。“你每次上網(wǎng)都瀏覽新聞嗎?”由于極端問題出現(xiàn)的概率較低,對于這種問題大多數(shù)的用戶會回答“否”。這樣獲得的數(shù)據(jù)沒有太大價值。直接詢問頻率可以獲得更加具體的信息。
明確你感興趣的時間期限。“你購買化妝品的頻率是?”用戶可能會根據(jù)最近一個月、最近半年或者最近一年的情況來作答,真正糟糕的是不同的用戶可能會選擇不同的時間期限。因此說明你希望用戶根據(jù)哪段時間的情況做判斷會更好。
選項(xiàng)設(shè)計
選項(xiàng)要對稱
選項(xiàng)的正向和反向形容需要有相同的粒度和強(qiáng)度。如下圖的選項(xiàng)不正確地給了負(fù)向情緒以更高的強(qiáng)度。
選項(xiàng)不對稱
保證所有用戶都有合適的選項(xiàng)
最好窮盡所有可能,如果無法做到,也可以提供一個“其他”選項(xiàng)給那些沒有被覆蓋到的用戶。即使是李克特量表,有時也需要加入一個“不適用”選項(xiàng),避免強(qiáng)迫用戶選擇。
應(yīng)該提供一個“其他”選項(xiàng)
選項(xiàng)要很具體
不要有含糊不清的表述,能夠用數(shù)字表達(dá)的盡量不用“很少”“經(jīng)常”這類表述。
選項(xiàng)要互斥
如果是單選題,一個用戶不能夠既符合A選項(xiàng),又符合B選項(xiàng)。如下圖,“情有可原”表示“不該,但是可以理解”,那么持這種觀點(diǎn)的用戶應(yīng)該選擇“不該”還是“情有可原”?
選項(xiàng)不互斥
選項(xiàng)的順序要一致
比如1永遠(yuǎn)是最不同意,5永遠(yuǎn)是最同意(或者相反)。如果一份問卷中選項(xiàng)的方向發(fā)生改變,用戶可能沒有注意到或者習(xí)慣性按照原來的方向進(jìn)行選擇。
如果答案沒有邏輯順序,盡量做到隨機(jī)排列
順序可能會影響用戶的選擇,我們通過隨機(jī)的方式來降低這種影響。
選項(xiàng)的含義要清晰
“我經(jīng)常做有氧運(yùn)動?!狻⒉煌狻碑?dāng)用戶選擇不同意的時候,表示的是自己做有氧運(yùn)動的頻率低于“經(jīng)?!?,還是高于“經(jīng)?!??
順便說說訪談
訪談和問卷調(diào)查類似,都是向用戶提問題。它們之間最大的不同是,問卷調(diào)查得到的答案是封閉式的、結(jié)構(gòu)化的,而訪談得到的回答是開放式的、難以預(yù)期的。
訪談和問卷遵循一些相同的提問原則,比如不要帶有引導(dǎo)性,要盡量消除社會期許的影響,盡量詢問事實(shí)而非讓用戶預(yù)測等。
但是訪談是人跟人的對話,而不是人跟問題的對話。所以訪談員未必跟著設(shè)計好的提綱走。如果被訪者對問題存在疑問或者誤解,訪談員有機(jī)會去發(fā)現(xiàn)并進(jìn)行解釋;訪談員還可以針對被訪者的回答進(jìn)行追問,以便對問題有更深入的了解。
問卷調(diào)查對問卷設(shè)計的要求很高,數(shù)據(jù)質(zhì)量很大部分依賴于此。但是訪談除了遵循一些和問卷設(shè)計一樣的規(guī)則之外,更多地依賴于訪談員的訪談技巧和現(xiàn)場發(fā)揮。
本文由 @cyan_zheng 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Pixabay,基于 CC0 協(xié)議
- 目前還沒評論,等你發(fā)揮!