如何讓你的問卷脫胎換骨,聽到真實的用戶聲音
如何才可以獲取用戶真實的聲音?在用戶調研中有哪些知識或者技巧是可以降低失真率?這是做用戶研究的人經常煩惱的事情,而本篇文章從用戶為什么不分享真實聲音的角度出發,教你如何避免問卷調查的雷區,快來看看吧。
在用研的世界,有時候我們會質疑,用戶說的話真的可信嗎?
將心比己,我們自己在填寫各種問卷時,可能會美化自己,給出理想中的樣子,或者順著問題的設計給出正面的回應,而不是說心中所想?又或者有時候趕時間,嫌麻煩,犯懶,不想認真回答問題。
在所有研究中有一句名言:Garbage In, Garbage Out。我們要確保我們的調研設計有效,才可以確保用戶反饋的聲音有效,從而指導我們的業務和工作。
如何才可以獲取用戶真實的聲音?在用戶調研中有哪些知識或者技巧是可以降低失真率?這就是本篇文章希望分享的主題。
我們不妨先反過來問一下,到底用戶為什么不會分享真實的聲音呢?
我總結出7個主要原因,重要性依次遞減:
- 方法不對:用戶潛意識的聲音沒有被挖掘出來(用戶自己也說不清楚)
- 問錯人:用戶根本不懂(用戶在瞎說)
- “道德正確”問題:基于道德或者社會規則,用戶認為這道題目應該這樣回答才對
- 誘導性問題:用戶感覺你想讓他回答某個方向,用戶順從你的方向了
- 題目get錯了:你想問A,但用戶get了BCD
- 忘記了:多少年前的事,誰還記得那么細?
- 問煩了:問卷上題目太多,用戶做著做著就隨便回答
接下來我對這7個問題作出深入的分析,說一下當中如何避免雷區,分享一些小技巧。
一、研究方法挑錯了
在企業里面,最常用的一個調研手段是問卷調查,尤其是互聯網企業,針對自家用戶發布問卷調查的成本較低,時效性強。然而問卷調查具有局限性,如果使用不妥,很有可能不能獲取用戶真實的聲音,反而受噪音影響判斷。
先問各位一道問題:你認為問卷適用在以下哪些研究類型?
- 探索性研究:產品概念測試、產品Demo測試
- 功能性研究:新上線的功能使用情況
- 滿意度研究:新上線的產品滿意度
- 用戶畫像研究:對于用戶的產品使用習慣、生活習慣、態度等研究
我認為答案是3和4。問卷調查最大的意義是什么?是給出相對量級,而不是探索。這是因為問卷要求發問者對業務和用戶已經有一定了解,比如知道用戶有哪幾類、他們大概是怎么想,在問卷調查的設計里面,問題相對固定,答案不發散。問卷的主要目的是想知道每一類人有多少個(此之謂定“量”)。
而探索性研究一般而言,研究問題和答案都不是設定好的,在研究過程中,需要提示、互動、追問等,才可以有效挖掘用戶心中真實所想。大部分情況,用戶對于自己行為背后的動機和態度其實是潛意識的,而這些潛意識并不太可能通過問卷問的出來。
然而,在很多公司里面,當業務小伙伴對于前路比較茫然,或者希望挖掘新功能需求時,問卷仍然會被大量使用,來解決探索性問題。所以第一個要點就是:如果想要調研探索性需求,一般遵循「先定性、后定量」的原則。別因為成本低就偷懶使用問卷,到頭來只會浪費了時間。
針對功能性研究,問卷也是非常常用的手段,比如業務會想知道用戶到底是怎樣使用咱們的功能。可是,對于「怎樣使用」這類問題,問卷的局限性就明顯體現了。
首先是問卷并不可以讓用戶有效描述使用過程:「我一般是xxx的時候使用,然后我就xxx,然后我就xxx」;其次是因為問卷大多問題都得提供固定選項,所以如果訪談者的認知并不全面,就有可能漏掉一些場景、使用方式等,而這些可能恰恰是驚喜有用的發現。所以如果需要過程性描述,或者受訪者對于用戶的使用尚未有100%的掌握,那么還是先進行定性訪談。
你可能會說:「不不不,針對怎樣使用,我只是希望知道用戶使用頻次、使用了哪些功能等」如果你是在互聯網公司的話,那么我建議你通過數據分析(BI)的手段來了解用戶的使用情況。事實上,沒有比BI數據記錄下用戶行為更真實的數據,因為那是用戶用腳投票的歷史行為。在互聯網蓬勃發展之前,我們必須通過問卷調查等手段來了解用戶行為,但科技的進步讓我們可以從大數據分析中獲取這些數據。
所以想要獲取用戶真實的聲音,首先確保自己調研的時候選對了方法。
二、拿不到用戶真實的聲音,是因為問錯了人
我目前在線上教育的公司任職,我們通過人機交互的方式、動畫課程以及游戲化的設計,致力讓學習變得有趣和高效。我們的課程老師經常會使用問卷來了解用戶。之前就有一個案例,是我們高中化學組希望做一個課程產品的問卷調查,然而問卷發布時,忘記了屏蔽高中以外的學生?。ㄔ蹅児驹贙-12,覆蓋小初高三個學段)。
這個題為“高中化學Demo測試”的問卷,大家猜一下有多少非高中生回答?
我們一共收回了超過一萬份問卷,結果里面只有兩千多是高中生!也即是說80%左右的受訪者都是“錯誤”的。幸虧這份問卷里面有設置篩選題,所以把初中生都擋住了。但這證明了什么?即便這個問卷跟用戶沒關系,用戶仍然會點開填寫(可能是因為有禮品、點錯或者其他原因)。所以問對人非常重要,因為你問錯人了,這個受訪者仍然會給你回答,這些就會形成噪音。
再跟大家舉一個例子:
咱們公司商業化團隊正在研發學習平板,他們現在希望了解學習平板的使用情況和購買意愿,這份問卷應該問什么用戶?
- 有平板的學生
- 全量學生
- 有平板的學生和家長
- 全量學生和家長
建議答案:使用情況問學生;購買意愿問家長
學習平板一般售價是兩千多到五六千不等,這個價格的商品明顯是超出了一般學生付費范圍,所以學習平板的購買主要是家長主導。
然后一不小心,如果不細心思考“針對哪些部分,應該詢問哪些訪談對象”時,業務團隊很容易會一股腦兒把是使用情況和購買意愿的問卷打包,做全量投放,結果就導致我們問了學生關于購買意愿的問題,而他們給出的答案就不一定是真實的。
舉例:這是問卷中的一道題:你所擁有的學習機價格大約是多少?
到底學生是否知道他擁有的平板是多少錢買來的呢?如果足夠多學生并不知道的話,那么這個問題的答案大概率會失真。
下一個問題更容易失真:
這是一道關于未來的問題,那么問學生的話,失真的機會會更大。因為都是猜測,而學生和家長對于金錢的敏感度是不一樣的(在學生眼中,幾百塊的商品都很貴?。?/p>
那么如果業務團隊以這個數據作為指導來定價,就有可能出大簍子。
要想降低“問錯人”的概率和影響,在設計問卷前想一下:
- 這道問題受訪者知識范圍/經驗范圍內能回答的嗎?(他知道答案嗎?)
- 受訪者對于問題會有偏見/傾向性嗎?(他會騙你嗎?)
基于上面這個學習平板的問卷,咱們團隊后續復盤說到:壓根就不應該詢問學生關于購買意愿的問題,因為這只會帶來更多噪音?;蛘咧辽賾撓榷ㄐ粤私庖幌聦W生在購買上有哪些決策權/可影響,然后重點問那些方面。
另外,要降低失真率,確保問對用戶,在問卷設計上有以下技巧:
- 加上篩選題(Screening questions):確?;卮饐柧淼挠脩舳际悄阆胍挠脩纛愋停ū热绺咧谢瘜W問卷)。在互聯網的世界,問卷有時候可以skip掉篩選題,因為系統可以精準推送問卷
- 讓用戶表示他不知道:比如在上述的平板價格題目,我們應該加上“我不知道”或者“我忘記了”這類選項。
三、問了道德正確的問題
在教育的世界里,如果你問家長:“請問您關心您的小孩嗎?”這道問題屬于道德正確問題,因為家長礙于社會壓力和自我期待等原因,大概率會回答“我關心”,但是TA真的是關心嗎?
所謂道德正確:我心中覺得我應該這樣想,但實際行為不一定這樣做。比如這些都是道德正確的事:
- 傷害:我不應該傷害別人
- 關愛:我應該關心社會、關心小孩
- 忠誠:我應該忠于國家、忠于伴侶
- 權威:我應該聽從老師
- 圣潔:(部分宗教)我不應該支持墮胎、我不應該支持同性戀等
這里面的關鍵詞是“應該”,這反映了表面的態度,不一定是真實態度和行為。
我們這里還是用學習平板的例子來說明:
在問卷中,我們問了家長為孩子選擇學習機最看重的是什么。60%的家長都選擇“課程好,內容齊全”。但是,基于我們對于行業的認知,目前的學習機課程質量總體來說不是特別好,家長在購買學習機的時候真的是最看課程嗎?
問題在哪呢?用戶看到這個題目的時候,可能覺得應該需要選擇“課程好,內容齊全”這個明顯的答案。因為學習機的核心功能就是為了學習。用一個類比的角度:買洗碗機當然主要考慮“洗碗洗的好”。這個選項設置還有另外一個問題是:這個明顯的答案定義不清楚(什么叫課程好)。
要避免問卷只獲得道德正確的態度,其中一個解法是利用行為來交叉驗證態度。
在這道問題之后,如果我們知道課程好大概率是大家的選擇,那么我們就可以多加一道行為題目,來交叉驗證態度:
【針對選擇【課程好、內容齊全】的用戶】你上一次買學習機時,以下哪些課程促進你的購買決策?
- 新概念英語
- 劍橋英語
- 我不知道
……
或者是:
【針對選擇【課程好、內容齊全】的用戶】你上一次買學習機時,是如何判斷課程好?
- 通過銷售人員的現場演示和解說
- 通過識別學習機里面是否有著名教材
- 通過識別學習機里面課程是否齊全
……
這樣就能更進一步來驗證有多少用戶真的是因為課程好而選擇該學習機。
事實上,我認為這個問題的問法,正如在所有購買決策因素里面加上“價格”這個因素。在絕大部分情況,價格都是一個關鍵性的決策因素,這是已知的事實,所以不需要再用問卷證明。
我們在問關于“購買決策因素”的問卷里面,問題的題干是隱含了【價格不問】這樣的一個前提:
(除了價格以外)以下哪些因素最影響你的付費決策?
同場提示:購買決策是一個復雜的心理流程,尤其是高客單價的購買,建議使用定性方式來調研。
四、 誘導性問題:用戶順從你的想法給你答案
互動題目:以下哪一個問法最有可能出現誘導性?
- 你希望有什么新功能?
- 你希望加功能1嗎?
- 你希望加功能1、2、3哪一個(單選 or 排序)
我認為是B。
“希望” 問題要小心使用。因為只提了希望的想法,但沒有提到成本(金錢成本、時間成本、理解成本等)。用戶口頭表示想要,不代表會付諸具體行動(設想一下大家報名參加公司的內部培訓,報名了之后都不一定會來呀,很多人都是懷著先報上名的心態)。
其實希望問題更適合于剔除選項,而不是確認選項。意思是如果90%用戶都說希望有某某功能,我們也需要小心辯證去看,但如果只有10%用戶說希望有該功能,那么我們就可以說這個idea不是受用戶歡迎的。
舉另外一個例子來說明誘導性問題:“您愿意為音樂付費嗎?”
這種直接把陳述句套上“嗎”和“?”的方式包裝成疑問句的,一般來說很容易形成誘導,用戶很容易無腦順著你的問法給你正面的答案。
簡單的修改是:
“您是否愿意為音樂付費嗎?”
這樣總體看起來會更中性。
但更有效的方法還是用行為來驗證態度:
“您對音樂付過費或想要對音樂付費嗎?”
一般來說,想要獲得用戶真實的聲音,我們聚焦在用戶的行為和歷史上,不直接詢問態度(用行為來側面推導/驗證態度),以及少問關于未來/希望等問題。
五、Get錯了:你想問A,但用戶get了BCD
在詢問問題的時候,我們經常會默認對方都聽的懂自己,但其實溝通過程中很容易出bug:
在問題設計的時候如何避免出bug了?我們確保我們問好問題:
(以下a-e的內容摘自于某公眾號-超實用的用戶研究方法)
a. 一個題目只包含一個問題
不要問:您是否經??措p人直播和雙人PK?
而問:您是否經常看雙人直播?
b. 保證題干用詞無歧義
不要問:在直播中,您最關注哪些功能?
而問:在直播中,您最常用哪些功能?
c. 專有名詞的解釋
不要問:您所在學校有使用代幣嗎?
而問:您所在學校有使用代幣嗎?(代幣是指學校里強化學生行為使用的激勵方式)
d. 選項之間要互斥
不要問:
您喜歡使用哪種類型的APP?
A.社交類 B.娛樂類 C.手游類
而問:
您喜歡使用哪種類型的APP?
A.社交類 B.游戲類 C.音樂類 D.資訊類 E.電商類 F.其他
e. 選項要涵蓋所有選項
不要問:
您吃飯了嗎?
A.吃完了 B.還沒吃
而問:
您吃飯了嗎?
A.吃完了 B.正在吃 C.還沒吃
你可能會問:我怎么知道哪些專有名詞要解釋?我怎么知道題干有歧義?
設計者一般都活在自己的世界里,所以最好避免Get錯了的方法,就是找人測試一下問卷。在問卷發布前,找3個人測試,不要只讓他們看word稿,而是直接發問卷鏈接,然后讓他們代入受訪者的角度來填寫(不是同事/朋友角度)。
填完之后,記得要問有沒有哪道問題你看完第一次是看不懂的或者有猶豫的,而不要只問:有沒有看不懂的題目,因為他們可能看著看著覺得自己看懂,或者當中腦補,你希望知道的是,他們第一次看題目的時候就卡住的地方(用戶都是沒有耐性的)。
這一步看似很麻煩,但如果建立了習慣,并不是那么麻煩,而這個可以避免出錯,所以建議大家一定一定要建立起習慣來。
六、忘記了:多少年前的事?
有時候問卷里面的問題可能是用戶一段時間之前發生的事情,人類的短期記憶較好,但一般長期記憶比較糟糕。
為了應對這個問題,如果你有幸是在一家互聯網企業任職,產品形態是app/小程序,那么其中一個做法就是在功能結束后/返回按鈕邀請用戶填問卷,記憶不太會錯。
比如下圖是我們app中一個備考功能的截圖,在這個功能的下方,產品經理就很聰明的加上一個反饋入口,讓用戶在功能使用過程或者結束后暢所欲言,這樣收集回來的用戶聲音一般都非常真實。
七、問煩了:問卷上題目太多
最后一個用戶不給出真實聲音的原因,就是用戶被問煩了,這里面最有可能的情況是問題太多,用戶填到后面開始失去耐性,隨便點擊選項。
要應對這個問題,第一是控制題目數量:5-10道題是理想狀態。20道題是max;或者控制完成時間:別超過10分鐘,最好是3-5分鐘內。
第二是通過題目順序設計,提高真實度,比如重點問題放在問卷前半部分,用戶回答問卷會疲憊,越到后邊問卷的信度、效度就會下降;以及,問卷題目先問受訪者最近發生的事情,后問受訪者以前發生的事情;先問受訪者行為方面的問題,后問受訪者態度方面的問題。
最關鍵的其實是控制訪談者自己的欲望。很多時候,訪談者會有一種想法:反正都問了,就順便多問幾道題目吧!但其實這樣不只是會搞毛用戶,更嚴重的是失去聚焦,很多問題都蜻蜓點水,并沒有在重點部分深入挖掘。
建議大家秉持“少即是多”的原則,可能會有意外收獲。
八、總結
最后總結一下,這篇文章我跟大家分享了7個用戶不給真實聲音的情況,以及相應的解法。希望大家看完這篇文章之后,可以提升調研設計的技巧,抓住關鍵理解,避開常見雷區,聽到更真實的用戶聲音。
作者: 杜子中;公眾號:用戶研究社(ID:UXD-JointLab)
原文鏈接:https://mp.weixin.qq.com/s/rQKViI1zi_ZDNP4RR65_QQ
本文由 @用戶研究社 授權發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
首先要找對用戶群體,不然很多不懂的人去填問卷的意義也不大
好文章