調(diào)查問卷的兩個陷阱:誘導(dǎo)性問題和幸存者偏差

1 評論 21380 瀏覽 72 收藏 9 分鐘

我們在測試一個產(chǎn)品的時候,會通過用調(diào)查問卷的方式看看用戶對產(chǎn)品的喜好程度和看法,但你的調(diào)查真的有用嗎?你的調(diào)查有沒有踩坑呢?

收集回來幾千份問卷,你有沒有想過有可能數(shù)據(jù)是無效的?訪談了幾百位用戶,你有沒有想過你做的可能是無用功?問題在哪?

你不會問問題!

坑1 你喜不喜歡我們的產(chǎn)品?

當(dāng)你查看這個問題的數(shù)據(jù)時,你欣喜地發(fā)現(xiàn)99%的用戶都選擇了“是”,于是你屁顛屁顛地去告訴老板“我們家的產(chǎn)品,用戶很喜歡”,并且拿出數(shù)據(jù)給老板看,老板一開心,砸了幾十萬廣告費,結(jié)果打了水漂。

誤區(qū)1 誘導(dǎo)性問題

人,皆有憐憫之心。當(dāng)你問出這個問題的時候,其實跟你去跟暗戀的人表白說“你喜不喜歡我”一樣,你的潛臺詞是“我喜歡你,我希望你最好也喜歡我”,你實際上在告訴用戶,“我希望你喜歡我,趕緊選喜歡”。用戶想,既然你這么懇求,那么用戶就會“我稍微勉為其難地看在你面子是給你個好評吧”。

結(jié)果會怎樣?或者我這么問,兩個人勉強在一起能幸福嗎?

類似的坑

這個服務(wù)1塊錢,你能接受嗎?我們打算新推出一個功能,你會用嗎?

如何破?

其實,你會發(fā)現(xiàn),很多類似的問題的選項都是“非此即彼”,第一個很簡單的方法就是:不要使用“是不是”、“喜不喜歡”這種只有“二元選項”的問法。

對于詢問用戶滿意度等較為主觀的可以使用“五分法”,即如“很不滿意”、“比較不滿意”、“一般”、“比較滿意”、“很滿意”五種選項。當(dāng)然,你可以選擇用1-5分作為替代,也可以使用7分,除了10分,不建議使用多于7分的選項,用戶有選擇困難癥的。

對于詢問用戶對價格的接受度,請使用PSM價格敏感度的模型。PSM模型下,問題是這樣問的:

(實例 調(diào)研知識音頻專欄價格敏感度)

問的是用戶對各個價格區(qū)間的接受度,通常我們只會設(shè)置價格敏感相關(guān)的4個選項,“太便宜”、“比較便宜”、“有點貴”、“太貴”。特別說明:上圖我是增加了一個中間選項“剛好”,實際上這個選項在統(tǒng)計中沒有什么作用,純粹是站在用戶視角考慮用戶習(xí)慣思維增加的選項。

然后根據(jù)各選項的數(shù)據(jù)可以繪出PSM模型的曲線圖:

(實例 調(diào)研知識音頻專欄價格敏感度)

  • P1:是用戶可接受價格的最低值,“有點貴”和“太便宜”的交點;
  • P3:是用戶可接受價格的最高值,“太貴”和“比較便宜”的交點;
  • P2:是最佳價格,用戶覺得不會太貴也不會太便宜,“太貴”和“太便宜”的交點。

另外,除了用PSM模型曲線圖,也可以用百分百堆棧圖,這個比較直觀,可以看出最佳的價格區(qū)間是哪個。我的判斷參考數(shù)據(jù)是:選擇“比較便宜”和“有點貴”的比例超過80%的價格區(qū)間,即為最佳區(qū)間。(下圖還要加上“剛好”的比例)

(實例 調(diào)研知識音頻專欄價格敏感度)

坑2 你花在我們產(chǎn)品上的時間有多少?

問卷收集完后,你查看了下用戶回饋的數(shù)據(jù),你發(fā)現(xiàn)用戶還挺活躍的。但是,一查看后臺數(shù)據(jù)對比,怎么活躍才這么低,不科學(xué)呀!

誤區(qū)2 幸存者偏差

有個故事,美國空軍發(fā)現(xiàn)能飛回來的戰(zhàn)斗機中,機翼的彈孔比機身的多,那么升級設(shè)備加強防彈效果的時候,應(yīng)該著重機翼還是機身?按照數(shù)據(jù)來看,機翼比機身的彈孔多,應(yīng)該著重升級機翼。但是,事實是,應(yīng)該著重機身。因為機身中彈多的都毀在現(xiàn)場飛不回來了,機翼中彈還能安全飛回來。

把問卷投放在自家產(chǎn)品上,愿意給你填問卷的其實大部分已經(jīng)是活躍用戶,沉默用戶不使用你的產(chǎn)品更不會給你填問卷。所以說,給你找茬的用戶都是真愛。

如何破?

其實方法前面也提到過,就是看后臺數(shù)據(jù),用戶的行為比他說的更真實。如果后臺埋點還沒埋得到你想的數(shù)據(jù),那怎么辦?

分為事前和事后,兩個應(yīng)對方法。

  • 事前,根據(jù)用戶類型進行配比,進行定向隨機投放,按比例收集問卷。
  • 事后,根據(jù)用戶類型的比例進行權(quán)重配比。比如:用戶A和B分別占比30%和70%,根據(jù)收集回來的問卷按照用戶類型分類統(tǒng)計數(shù)據(jù),最后乘以權(quán)重配比,得出最后的數(shù)據(jù)。

以上是兩個具體的例子。

總的來說

在做問卷的時候,需要警惕以下的問題:

  • 用戶通常言行不一。用戶給你的答案不一定是正確的,用戶在實際場景中的選擇,可能和他選擇的選項大相徑庭??梢粤私庀滤髂嵊螒驒C黑黃色偏好調(diào)研的案例。
  • 用戶的是搖擺不定的。當(dāng)用戶面對抽象性問題或他沒有面對過的問題時,他會給出傾向問卷設(shè)計者預(yù)設(shè)立場的答案。盡量用事物或場景觸發(fā)用戶的無意識行為,或說出代入場景的真實體驗。
  • 能觸達用戶群體是與全體用戶有偏差的。預(yù)防樣本少、非隨機調(diào)研的情況出現(xiàn),不然會出現(xiàn)以偏概全的結(jié)果。反例比如:只選擇本地區(qū)用戶、優(yōu)先聯(lián)系有留聯(lián)系方式的用戶。

設(shè)計問卷中,除了問卷調(diào)研的目的,更多地是要思考問卷本身(含問題設(shè)計、文案、排版)對用戶的影響,盡量還原用戶的行為和思考,剔除其他影響,這需要關(guān)注問卷中很多的細節(jié)。

最后的建議是——多踩坑。

 

作者:湘塵,微信公眾號:塵言運營(ID:Operator-Chen)。在全棧運營路上狂奔中的1歲半運營喵,喜歡運營、用研、營銷,歡迎交流勾搭~

本文由 @湘塵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Pexels ,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!