8個常見的研究者認(rèn)知偏誤陷阱
認(rèn)知偏誤是一件很常見的事情,尤其在用戶調(diào)研中,它的出現(xiàn)更容易誤導(dǎo)研究者踏入認(rèn)知陷阱,將產(chǎn)品與功能越改越錯。這時候,準(zhǔn)確洞察研究者認(rèn)知偏誤陷阱就顯得非常重要了。
認(rèn)知偏誤(Cognitive bias)是一種常見的現(xiàn)象,它是指當(dāng)我們思考問題或做決策時,大腦會有一些固定的思維傾向。
這個過程多是無意識的,有時也會帶來正面作用,如幫助我們在紛繁復(fù)雜的環(huán)境中節(jié)省思考時間,更高效地做出決定。但是在研究中,認(rèn)知偏誤易導(dǎo)致研究結(jié)果不準(zhǔn)確,降低研究的價值。
我們都希望研究是客觀、理性、反映真實情況的,了解常見的認(rèn)知偏誤可以幫助我們在工作中盡量規(guī)避它們,得出更準(zhǔn)確的結(jié)論。
實際上每個人都會有認(rèn)知偏誤,包括研究者和用戶。
今天我們就來說說研究者的常見認(rèn)知偏誤,下次有機(jī)會再談?wù)動脩舻模凑埰诖?/p>
一、確認(rèn)偏誤(Confirmation bias)
當(dāng)人們本來就持有某種觀點(diǎn)時,對這種觀點(diǎn)的感知和注意度會被放大,會選擇性地回憶或收集關(guān)于它的事例。人們對于自己原本就相信的觀點(diǎn)會更容易接受,而把反面觀點(diǎn)擱置在一旁。
舉個例子:有些人認(rèn)為女司機(jī)不擅長開車,更容易造成事故,所以當(dāng)新聞中的事故與女司機(jī)有關(guān)時,他們會覺得“果然如此”。而實際上男司機(jī)的事故率比女司機(jī)更高。
在用戶研究中,當(dāng)你的預(yù)設(shè)想法是用戶對A設(shè)計的滿意度比B設(shè)計更高時,在研究中你可能會更關(guān)注用戶提到的A設(shè)計的優(yōu)點(diǎn)、收集更多用戶對于A設(shè)計的正面評價。當(dāng)用戶表示對A設(shè)計滿意時,會覺得“果然是這樣”。這種偏誤會讓你遺漏許多其它信息。
二、虛假一致性偏差(False consensus effect)
虛假一致性偏差是指人們很容易認(rèn)為其他人跟自己有相同的想法,從而高估這些觀點(diǎn)的普遍適用性。
舉個例子:有一種冷叫做“你媽覺得你冷”。媽媽感覺到了冬天的寒冷,擔(dān)心我們也會冷,于是催促我們穿秋褲,但可能年輕人并沒覺得冷。此時媽媽的想法就帶有虛假一致性偏差。
當(dāng)年輕人吐槽父母朋友圈轉(zhuǎn)的雞湯文、養(yǎng)生文無用時,也是一種虛假一致性偏差。
在用戶研究中,我們也很容易陷入虛假一致性偏差。
比如,當(dāng)你認(rèn)為產(chǎn)品的某個方面比較好或者你對產(chǎn)品的某個方面不滿意,可能會傾向于認(rèn)為這也是許多其他用戶的感受,但也許事實并非如此。
在對海外產(chǎn)品做研究時尤其要注意這一點(diǎn),研究者與用戶的巨大文化背景差異可能會導(dǎo)致研究結(jié)果的嚴(yán)重失真。
三、聚類錯覺(Clustering Illusion)
聚類錯覺產(chǎn)生的原因是人們傾向于從隨機(jī)事件中找出某種規(guī)律。
舉個例子:如果張三連著幾次在群里搶紅包都搶到最大份,他可能會覺得自己最近“手氣特別旺”。這就是一種聚類錯覺,人們試圖將幾次隨機(jī)的結(jié)果聯(lián)系起來,用某種規(guī)律進(jìn)行解釋。
在研究中,聚類錯覺容易出現(xiàn)在小樣本研究中。
比如,我們在小樣本中發(fā)現(xiàn)了被訪者的某些共性,總結(jié)出某些規(guī)律,并期望它們在更大的群體中也適用,但這種共性可能只是源于隨機(jī),而非事實。
我們應(yīng)該謹(jǐn)慎對待在小樣本研究中的發(fā)現(xiàn),思考它們是否只是隨機(jī)結(jié)果,最好用其它研究方法幫助驗證或參考二手資料,避免出現(xiàn)聚類錯覺。
四、知識的詛咒(Curse of knowledge)
培根說過,“知識就是力量”。它怎么會帶來詛咒呢?知道的更多難道不好嗎?
知識的詛咒是指——人一旦知道了某件事,就沒辦法想象不知道的樣子,也很難體會到不知者的感受。
舉個例子:在某次考試之后的課堂上,
- 老師:“同學(xué)們,這是一道送分題啊,大家都做對了吧?只要先連一條輔助線,再……”
- 學(xué)生:“這是啥?這又是啥?這些都是啥?”
在用戶研究中,知識的詛咒也會給我們帶來許多困擾。
比如,我們對自己的產(chǎn)品很熟悉,就很難想象新手用戶是如何使用它的,使用感受如何。我們可能會驚訝地發(fā)現(xiàn),即使在我們看起來操作十分簡單的功能,新手用戶使用起來也很吃力。
再比如在設(shè)計問卷或者訪談腳本時,我們可能會不小心加入一些專業(yè)術(shù)語而不自知,讓用戶看得一頭霧水。
研究者的有些認(rèn)知偏誤還會直接影響到用戶的行為和反應(yīng)。
五、選擇性偏差(Selection bias)
選擇性偏差是指過程或樣本的非隨機(jī)性導(dǎo)致結(jié)論的不準(zhǔn)確。
舉個例子:假設(shè)張三想統(tǒng)計人們的工資水平,他拿著一份個稅納稅名單開始了調(diào)查,結(jié)果發(fā)現(xiàn),所有人的工資都在5000以上。
這個結(jié)果當(dāng)然是不準(zhǔn)確的,因為5000是我國的個稅起征點(diǎn),工資超過5000的人才會出現(xiàn)在納稅名單上,張三的研究樣本是有選擇性偏差的,不能代表總體。
在用戶研究中,選擇性偏差不僅會出現(xiàn)在樣本選擇中,還可能會出現(xiàn)在研究設(shè)計中。
比如在可用性測試中,我們設(shè)計了一系列的任務(wù),研究結(jié)果自然就無法包含未選中的任務(wù)。而且這些任務(wù)也會讓用戶產(chǎn)生一種心理,既然它是設(shè)定好的任務(wù),就一定是可以被完成的,他們也會耐心地、多次嘗試去完成任務(wù),以期達(dá)成某種結(jié)果。
當(dāng)然我們也不會設(shè)置無法完成的任務(wù)。但在實際的使用情境中,用戶并不知道哪些操作是有結(jié)果的,哪些沒有,他們的行為和態(tài)度可能與可用性測試中不同。
六、框架效應(yīng)(Framing effect)
框架效應(yīng)是指——對于同一個問題,當(dāng)描述有所不同時,人們給出的選擇也會有差異。
舉個例子:假如說“XX疾病的存活率達(dá)93%”,人們可能會覺得這種疾病沒有很嚴(yán)重;但如果說“XX疾病的致死率達(dá)7%”,那么人們可能會覺得很嚴(yán)重。
在用戶研究中,我們也要避免框架效應(yīng)帶來的影響,不要設(shè)置引導(dǎo)性的問題,題目中不要用明顯的正面或負(fù)面詞匯,盡量用中立的語言描述。避免題目的描述干擾到用戶的選擇,而導(dǎo)致研究結(jié)果不準(zhǔn)確。
七、觀察者期望效應(yīng)(Observer-Expectancy Effect)
觀察者期望效應(yīng)是指——研究者有時可能會期望出現(xiàn)某種結(jié)果,他們無意識地操縱了試驗過程,或者錯誤地解釋實驗結(jié)果,導(dǎo)致研究結(jié)果嚴(yán)重歪曲。
一般來說,被觀察者幾乎無法不受觀察行為的影響,當(dāng)研究是針對人時,被試者會更容易感覺到研究者無意中透露的期望,從而做出相符的反應(yīng)。
在用戶研究中,研究者的表情、肢體語言等都可能會反映出自己所期待的結(jié)果,如果用戶察覺到了這些,就可能做一些迎合研究者期望的反應(yīng)。
比如,如果研究者無意中透露出某個新功能是他們團(tuán)隊非常重視、投入巨大、報有很大期待的功能,用戶可能會更傾向于對這個功能給出正向的評價,肯定該功能的市場前景。但這也許并非他真實的感覺。
如何避免認(rèn)知偏誤
如何避免這些認(rèn)知偏誤呢?這里有一些建議:
1. 研究方案:避免單一的研究方法和單一的樣本渠道來源
多種研究方法的結(jié)果相互驗證,多種樣本渠道來源互做補(bǔ)充,幫助我們避免“聚類錯覺”和“選擇性偏差”,讓我們的研究結(jié)果更準(zhǔn)確。
2. 研究準(zhǔn)備期:問卷試填、試訪談、預(yù)測試
找其他人進(jìn)行試研究,幫我們在正式研究開始前發(fā)現(xiàn)問卷中是否含有引導(dǎo)性問題、專業(yè)術(shù)語、歧義用語等不便于用戶理解的地方;訪談或測試中是否出現(xiàn)不適當(dāng)?shù)南乱庾R行為等。避免因“知識的詛咒”、“框架效應(yīng)”和“觀察者期望效應(yīng)”導(dǎo)致的研究結(jié)果不準(zhǔn)確。
3. 研究進(jìn)行時:多人合作研究、二手資料做參考、聽取他人意見
多人共同參與研究和分析,有助于避免認(rèn)知偏誤。訪談時,每個研究員追問的點(diǎn)可能有所不同;走查評估時大家對問題的關(guān)注點(diǎn)也可能不一樣。單個人的研究難免容易陷入“確認(rèn)偏誤”、“虛假一致性偏差”。綜合大家的觀點(diǎn),會讓研究結(jié)果更客觀。
如果只能由單人完成研究,可以收集二手資料,閱讀前人研究做參考。同時聽取來自他人的意見,幫助拓展思路,包括用研同事和產(chǎn)品經(jīng)理、設(shè)計師等非用研同事。
4. 研究結(jié)束后:復(fù)盤研究
研究結(jié)束后,反問自己:
- 研究的過程是否客觀?
- 研究的結(jié)論是否可信?
- 所有的結(jié)論都是有數(shù)據(jù)支撐、符合邏輯的嗎?
- 有哪些結(jié)論是帶有偏誤的嗎?
- 是否漏掉了一些很重要的結(jié)論?
- 是否與其他人的研究結(jié)果相似或相悖?
- 相悖原因是什么?
- 下次研究將如何做改善?
彩蛋:最后還有一個認(rèn)知偏誤介紹給大家。
八、偏見盲點(diǎn)(bias blind spot)
偏見盲點(diǎn)是指——我們都傾向于認(rèn)為自己比別人更少受到認(rèn)知偏誤的影響。人們都有偏見盲點(diǎn),更容易發(fā)現(xiàn)別人出現(xiàn)的認(rèn)知偏誤而忽略自己存在的認(rèn)知偏誤。
舉個例子:如果你看到這篇文章后覺得“這些都是別人容易遇到的,我可比他們客觀多了”,那么你可能就陷入了偏見盲點(diǎn)。
(所以,這里要大張旗鼓地求翻牌了:為了證明自己沒有陷入偏見盲點(diǎn),親愛的讀者們,快來點(diǎn)贊吧、轉(zhuǎn)發(fā)吧、收藏吧!便于以后實時提醒自己哦~)
參考文獻(xiàn)
1. Cognitive bias cheat sheet(https://betterhumans.coach.me/cognitive-bias-cheat-sheet-55a472476b18)
2. 20 cognitive biases that screw up your decisions(https://www.businessinsider.com.au/cognitive-biases-that-affect-decisions-2015-8)
3. 6 common cognitive biases UXers should know(https://medium.muz.li/6-common-cognitive-biases-uxers-should-know-750b8c7af1a8)
4. Cognitive biases in user research(https://blog.optimalworkshop.com/cognitive-biases-user-research)
5. Combating Bias in User Testing(https://blog.fullstory.com/combating-bias-in-user-testing/)
6. Don’t Let Your Brain Deceive You: Avoiding Bias In Your UX Feedback(https://www.smashingmagazine.com/2017/10/avoid-bias-ux-feedback/)
7. Overcoming bias in research and product design(https://medium.theuxblog.com/overcoming-bias-in-research-and-product-design-f35a0d92496d)
8. Overcoming Cognitive Bias in User Research(https://npr.design/overcoming-cognitive-bias-in-user-research-e4082f4506a)
9. User Research Bias: How It Hurts Your App And What You Can Do About It(https://usabilitygeek.com/user-research-bias/)
作者: Sijia,公眾號:京東設(shè)計中心JDC(ID:JDCdesign)
來源:http://jdc.jd.com/archives/212946
題圖來自Unsplash,基于CC0協(xié)議
怪不得京東戰(zhàn)略上總輸給阿里和拼多多……
推薦一本書《用事實說話》,用陳述性的描述能夠讓自己從旁觀角度更客觀看待事物