一份合格問卷的編制思路

3 評論 11758 瀏覽 121 收藏 23 分鐘

本篇文章整理分享了編制問卷和分析數(shù)據(jù)的思路,一份合格的問卷都包含了哪些內(nèi)容呢?

作為一枚社科類專業(yè)出身的互聯(lián)網(wǎng)狗,編制過用于學(xué)術(shù)研究的問卷,也在工作中使用過問卷去了解用戶,問卷編制不是憑感覺羅列問題的過程,更像一個設(shè)計過程,不斷權(quán)衡問題的去留、邏輯和形式。在此把編制問卷和分析數(shù)據(jù)的思路整理出來,共兩篇,交流討論。

問卷調(diào)研大部分是抽樣調(diào)研,且填答質(zhì)量在很大程度上依賴填答者/執(zhí)行者的認真程度,因此得結(jié)論時很容易被diss:“你問卷那么長誰會來答、用戶都是故意瞎填的不可信、用戶根本沒思考都是用腳在答、答問卷的都是專家用戶不能代表全體”等等。

一份合格的問卷會盡量避免這些問題以得到客觀的結(jié)論。希望讀完本文可以找到一些答案。

問題編制會受制于問卷的投放渠道,所以我們先從問卷投放開聊。

一、問卷投放

1.1 確定調(diào)研目的和投放人群

調(diào)研方法有很多,尤其是在互聯(lián)網(wǎng)環(huán)境下,收集數(shù)據(jù)的手段變多了,問卷調(diào)研的優(yōu)勢在哪里,什么情況下應(yīng)該使用問卷調(diào)研呢?問卷的優(yōu)點是:可以在短時間內(nèi)搜集大量的數(shù)據(jù),且人力成本較低。在互聯(lián)網(wǎng)領(lǐng)域,使用問卷調(diào)研的場景主要有以下幾種:

(1)驗證需求強度和場景以設(shè)計出更合理的功能

工作中通過其他方式發(fā)現(xiàn)了一些需求點,邏輯推導(dǎo)可行,繼而通過問卷做個定量調(diào)研,了解需求的場景輔助設(shè)計。

如:地圖上線騎行導(dǎo)航之前有很多用戶提建議要求上線騎行功能,但是哪些功能優(yōu)先級更高?最核心用戶群是誰是外送人員么?用戶最關(guān)心什么信息?這些光靠猜是不夠的,通過問卷可以得到更切實的結(jié)論。

如keep在18年5月份的時候提前調(diào)研用戶對于短視頻的態(tài)度,10月的時候上線了該功能,最近又在調(diào)研l(wèi)ive打賞功能,調(diào)研結(jié)果如何就看之后會不會上線了。

不過在功能上線之前做調(diào)研可能會涉及到保密問題,能否做調(diào)研還需要結(jié)合整體環(huán)境來判斷。

(2)主動收集使用者的感受,不依賴于反饋系統(tǒng)

1. 有些功能沒有明顯的反饋渠道,用戶有想法但不知道去哪里反饋,當(dāng)設(shè)計者想要了解用戶使用情況時會缺乏參考資料;

2. 產(chǎn)品有明顯反饋渠道,但用戶遇明顯的痛點才來反饋,只有一丟丟不爽的時候,一般都懶得反饋,可設(shè)計者需要了解這些“小不爽”來打磨產(chǎn)品;

3. 有時候產(chǎn)品剛上線或經(jīng)過幾輪迭代,設(shè)計者不僅需要看數(shù)據(jù),也需要了解用戶對產(chǎn)品的主觀感受,感知到功能沒、用過沒、喜不喜歡。

如:華為每次更新新系統(tǒng)后都會發(fā)送小調(diào)研收集問題,兩個題目,一個是滿意度,一個期望改進的建議,簡單直接快速。

(3)通過問卷招募用戶

想做用戶調(diào)研(焦點小組、深訪等),如果不通過外包公司招募,就需要自己設(shè)計招募問卷,篩選符合要求的用戶。如之前高德地圖招募用戶,主要說明活動具體事宜和關(guān)鍵的篩選因素。

(4)了解行為和場景,在大數(shù)據(jù)無法體現(xiàn)或獲取數(shù)據(jù)的成本太高時用

設(shè)計者需要了解用戶是在什么樣的環(huán)境下怎么用產(chǎn)品,為后續(xù)的設(shè)計提供依據(jù),但有些信息很難在數(shù)據(jù)上體現(xiàn);比如騎行導(dǎo)航剛上線時,設(shè)計者期望知道用戶是怎么用地圖的,看屏幕為主還是聽語音為主。系統(tǒng)的息屏數(shù)據(jù)和靜音數(shù)據(jù)很難拿到,因此用問卷的方式來獲取。

(5)了解行業(yè)、市場的情況(這類調(diào)研通常與第三方公司合作進行,國內(nèi)調(diào)研公司的官網(wǎng)上有很多實例報告,不詳述了)

調(diào)研目的確定后,調(diào)研群體也就明確了,關(guān)鍵是如何觸達這些用戶呢?

1.2 找到觸達用戶的方法

生活中會在各種地方遇到問卷調(diào)研:體檢單上附帶著紙質(zhì)的滿意度問卷;收到航空公司的電話回訪;逛商場有人拿著iPad請你回答品牌偏好問卷;買了冰箱到貨后上面貼著滿意度調(diào)研的二維碼;郵箱里還會收到一些網(wǎng)站的調(diào)研。

當(dāng)用戶與服務(wù)有觸點時,可以抓緊這些觸點邀請用戶參與調(diào)研,此外還可以通過用戶留下的聯(lián)系方式邀請用戶,對于互聯(lián)網(wǎng)產(chǎn)品也不例外。

(1)在APP/網(wǎng)站內(nèi)投放問卷(最普遍)

1. APP內(nèi)有運營位,可以在這些位置上投放傳統(tǒng)的問卷邀請(純文本的、banner+文本的都可以)

優(yōu)點:回收量大;用戶對本APP的印象鮮活;可以通過后臺篩選投放的用戶群體,比如通過人口學(xué)信息/設(shè)備信息圈定人群,或通過行為經(jīng)驗圈定人群(如:最近三個月使用過騎行導(dǎo)航的用戶)

缺點:低活躍群體的觸達率特別低。

2. 還有一種短小快速的調(diào)研方式,在某個行為之后觸發(fā)調(diào)研模塊,很適合收集特定場景的信息。不過該方法需要在包里添加代碼,實現(xiàn)成本高。如搜狗地圖導(dǎo)航結(jié)束頁,keep中途退出課程,都會彈出調(diào)研模塊

(2)通過聯(lián)系方式投放,短信、郵件發(fā)送邀請鏈接;qq、微信群、論壇發(fā)起問卷調(diào)研

1. 大量的短信投放有一定的費用成本,而且對用戶有打擾,在投放前可以先“預(yù)投放一輪”,估計一下回收量。

2. 郵件投放可能會被屏蔽為“垃圾郵件”,因此投放出去之后要觀察一段時間,確保有回收率,如果回收率非常低,則需要考慮其他渠道。

3. 在產(chǎn)品的qq群、論壇投放,來填答問卷的很可能是產(chǎn)品的深度用戶,該類用戶與普通用戶對產(chǎn)品的熟悉程度有差異,需考慮到樣本偏差。

(3)購買/置換三方渠道:

僅通過產(chǎn)品自身的渠道,很難接觸到沉默和競品用戶,購買第三方的渠道是常規(guī)方式,市調(diào)公司、問卷公司都有自己的問卷廣場和用戶社區(qū),大部分都有該類服務(wù)。

此外還可以擴展多樣的渠道合作(和投放廣告是一個道理,找準(zhǔn)目標(biāo)群體),比如想了解足球用戶的特點喜好,可以在足球類的視頻網(wǎng)站上掛問卷;比如招募學(xué)生群體可以去高校的BBS上發(fā)帖;如某奢侈品APP想了解大眾對各奢侈品牌的印象,找FT網(wǎng)合作投放了問卷。

1.3 確定投放時間和樣本量

(1)投放時間

投放多久主要是看渠道的回收量,等收回量夠了就可以停止了,通過聯(lián)系方式投放等待的時間比較長,(在做調(diào)研規(guī)劃的時候要考慮到時間成本)。

如果是APP內(nèi)投放,盡量選APP日活高的時候投回收更快,比如抖音明顯在節(jié)假日期間使用量更高,投放問卷就可以選周末,兩天回收量就夠了。如果問卷復(fù)雜,可以選在半夜上線問卷,在后臺監(jiān)控收上來的問卷數(shù)據(jù)有無漏洞,因為半夜使用APP的人少,即使有問題還有補救的機會。

還需要注意的一點,有些APP的使用人群與時間強相關(guān),就要考慮到投放時長。比如在地圖內(nèi)投問卷,有很多是凌晨半夜填答的,一開始我就納悶什么用戶大半夜的跑來答問卷啊,后來分析了數(shù)據(jù)發(fā)現(xiàn)兩類用戶:國外用戶、夜車司機。所以在地圖內(nèi)投放的問卷,如果晚上發(fā)出去,早晨一看數(shù)據(jù)量夠了就暫停了,那樣本一定是偏的。

(2)樣本量

如果只是定性收集信息,問卷量沒有標(biāo)準(zhǔn)多多益善,如果涉及定量調(diào)研需要考慮到樣本量。

1. 只是通過問卷看大概的趨勢和分布,只做描述性的統(tǒng)計,200份一般就可以分析了。比如想了解:大部分騎行用戶對于天橋、地下通道這些設(shè)施的態(tài)度,做小樣本的調(diào)研結(jié)果就比較明朗了。

2. 如果要研究細分群體的情況(如:對于設(shè)施的態(tài)度與騎行工具有關(guān),所以要分別了解騎自行車和騎電動車的用戶群),那么要保證細分群體樣本量大于100,這樣做差異檢驗的條件都滿足。

3. 如果要根據(jù)樣本推斷總體就更復(fù)雜些。最直觀的感覺是:樣本量越大,誤差就越小,但樣本越大成本越高,所以在保證誤差范圍和可信度的情況下,我們可以根據(jù)公式計算出最小樣本量。

以樣本推測總體有兩種情況,一種是根據(jù)樣本值估計總體值(如:通過問卷調(diào)研,得到自行車用戶平均騎行距離是3km,通過總體推測整體的距離),這種在問卷調(diào)研中使用的非常少;另外一種是根據(jù)樣本比例估計總體比例(如:問卷中10%的騎行用戶是起摩托車,以此推論整體摩托車用戶的占比),這種推斷使用的較多,最小樣本量計算公式如下(重復(fù)抽樣和非重復(fù)抽樣的公式不同,當(dāng)總體N很大時,差異很小,這里寫的是重復(fù)抽樣的公式,里面各字母代表的信息隨便找本統(tǒng)計書都有):

實際情況中,調(diào)研又不是發(fā)表論文,不需要給出精確的樣本量和置信區(qū)間,通常都會多收集一些;大概的樣本量和置信度對比如下,做參考即可:

需要了解的一點是 ,推斷公式是基于隨機抽樣(包括隨機重復(fù)抽樣、隨機不重復(fù)抽樣)得到的,要使用該公式計算最小樣本量,前提是問卷采用隨機抽樣的方式發(fā)放,既:研究總體中每個個體都有相同的機會回答問卷。

如果不是隨機抽樣,即使達到最小樣本量也不可以進行推斷統(tǒng)計,在朋友圈里或論壇里發(fā)的調(diào)研不是隨機抽樣不能做推斷統(tǒng)計,在APP內(nèi)發(fā)放問卷從嚴格意義上來講也不是隨機抽樣,理論上講,用戶看到問卷的概率是相同的,但在填答意愿上有差異,之前的經(jīng)驗發(fā)現(xiàn)某些人群特質(zhì)的用戶確實更愛答問卷。所以使用推斷統(tǒng)計要慎重,盡量分析那些與填答意愿無關(guān)的內(nèi)容。

(2)樣本代表性

我們要研究的問題很可能與某些因素強相關(guān),因此在做調(diào)研時希望樣本與總體盡量接近,以避免樣本偏差導(dǎo)致結(jié)論偏差。如果我們已知某些因素與研究的問題有關(guān),也可以通過一些手段去調(diào)整。

分桶發(fā)放

如果已知總體的分布,并完全按照整體分布抽取樣本,就是分層抽樣。比如調(diào)研用戶對全國旅游景點的滿意度,按照旅游景區(qū)的等級、類型等比例隨機抽樣即可。

但是互聯(lián)網(wǎng)環(huán)境下,很難做到隨機抽樣,叫分桶投放更合理。比如研究用戶在騎行過程中,對天橋、地下通道的態(tài)度,性別會有影響,那么在投放前就可以區(qū)分性別投放。如果后臺不支持,則可以在問卷中增加該問題,方便后續(xù)分析。

實際調(diào)研中影響因素可能會有很多個,不能一窩蜂的都考慮,分桶成本太高,僅考慮強相關(guān)的影響因素,1~2個即可。

統(tǒng)計方法調(diào)整

前期無法按照比例投放,分析數(shù)據(jù)的時候可以做加權(quán)校正(后續(xù)再聊)。

二、問卷編制

2.2 設(shè)計問卷整體結(jié)構(gòu)

(1)編制問卷首先得了解問卷可以問什么,總結(jié)起來如下幾類:

  1. 定性收集使用信息,如使用產(chǎn)品遇到的問題、對產(chǎn)品的建議、期望改進點、使用場景等。
  2. 定量了解使用情況,如知曉度、使用頻率、熟悉度、使用深度、使用習(xí)慣、操作路徑。
  3. 定量解用戶內(nèi)心的想法,如滿意度、功能期望、方案偏好、價格接受度、行為原因等。
  4. 定量搜集人口信息,常見:年齡、性別、地域、消費水平、教育程度等,不做詳述。
  5. 定量收集使用環(huán)境信息,如硬件設(shè)備,天氣信息、使用環(huán)境等。

(2)在設(shè)計問卷之前先做前期研究

如果是做定量研究,各內(nèi)容之間可能有相關(guān)或因果關(guān)系,比如使用頻率和滿意度,性別和方案偏好等等,所以,在設(shè)計問卷之前先看數(shù)據(jù)、看外部相關(guān)調(diào)研、做快速的定性調(diào)研收集資料,以此提出一些假設(shè),根據(jù)這些假設(shè)去設(shè)計問卷框架,這樣后續(xù)得到的結(jié)論更豐富,也避免遺漏掉重要的現(xiàn)象和關(guān)系。

如較早之前做過一次調(diào)研,整體來看用戶對于某方案的偏好差異不大,但交叉分析后發(fā)現(xiàn)越年輕越偏愛A方案,能看到很明顯的趨勢??紤]到年級大用戶在整體用戶中的占比較小,所以后續(xù)做決策的時候主要考慮了年輕用戶的選擇(后來進一步研究發(fā)現(xiàn)是因為年輕用戶和年老用戶的關(guān)注點不同導(dǎo)致的,也很有意思)。

此外投放的群體并不一定是目標(biāo)用戶,所以需要通過問卷題目來篩選,并喚起用戶的回憶。我的郵箱里曾收到過百度統(tǒng)計的調(diào)研,我自己對于百度統(tǒng)計只是注冊過,沒用過印象非常淺。但是該問卷上來就問用戶對百度統(tǒng)計的感受,缺少了篩選項,導(dǎo)致填答者優(yōu)點懵,也可能會受到不合格的問卷。

總結(jié)起來,我自己設(shè)計問卷結(jié)構(gòu)的思路

  1. 確定問卷調(diào)研的核心點,一般控制在1—3個,了使用情況、想法態(tài)度、人口信息、環(huán)境信息等。
  2. 設(shè)置篩選題目,適合回答核心題目的用戶,全體用戶、使用過某功能的用戶(用戶篩選也可以通過后臺配置)
  3. 設(shè)置衍生題目,通過前期研究或經(jīng)驗發(fā)現(xiàn),那些可能會影響核心題目的因素,方便更多的分析和探索

2.2 題目編制與設(shè)計

有了框架才真正開始編問卷,大部分問卷平臺都提供多種題型,還有樣本模板,很好用。以下是我自己的總結(jié)的一些點:

(1)題目篩選。問卷要盡量保持短小,按照問卷結(jié)構(gòu)把想問的問題都錄入后,就開始刪題目。
檢查每個問題,問自己還有其他方式獲得該類數(shù)據(jù)嗎,如果有就刪掉問題。
檢查每個問題,是否容易回答,在看完題干和選項之后,是否能在3秒內(nèi)給出答案,如果不能就刪掉吧
檢查開放題目(填空、問答)是不是太多了,一方面問答題給用戶更大的心里壓力,導(dǎo)致完成率低;另一方面問答題的答案不好分析,大部分需要人工編碼,耗時。

(2)題目樣式。題目樣式就是要盡可能清楚的表達出要問題的內(nèi)容。在用語上且無誘導(dǎo),無隱私、無態(tài)度。此外在編制問題的時候,有時候還會用到以下技巧:

①文本不容易描述的時候,考慮用圖片,圖片上要標(biāo)準(zhǔn)清晰視覺焦點。

②有些概念不容易描述的時候,可以先構(gòu)建一個場景或例子,避開概念,幫助用戶理解/帶入我們說的事情。

如想要找到那些上報過路況的用戶,但是很多用戶分不清上報路況(事故、封路之類的)和反饋錯誤(新增地點,道路等),所以不要直接問用戶有沒有上報過路況,可以先問用戶向地圖反饋過哪些類型的問題,然后針對那些選擇了路況類型的用戶提問。

③有些問題形式較新穎,比如排序題,滑動條等??梢?strong>設(shè)計一些輔助題目幫助用戶熟悉填答方式。

④如果有較長的題干,通過顏色突出重點詞,引導(dǎo)用戶的視覺焦點并防止閱讀疲勞。

2.3 自檢&審核

問卷編寫既考驗邏輯思維又考驗文學(xué)功底,實在是很多細節(jié)要打磨。所以問卷設(shè)計好之后,自己要一遍遍的調(diào)整,并請其他同事幫忙審核。我在自檢或?qū)徍藛柧頃r,主要會注意以下細節(jié):

1.?檢查有無遺漏題目(比如設(shè)置了抽獎,記著留下用戶的聯(lián)系方式或賬號,有無設(shè)置測謊題目等)

2.?檢查邏輯跳轉(zhuǎn),該隱藏的題目是否隱藏了(防止沒體驗過的用戶遇到無法回答的問題)

3.?需要用戶回憶的,選項是否需要“記不清了”(避免用戶忘記了瞎選)

4.?沒有窮舉的選項是否設(shè)置了“其他”(避免沒有用戶的選項,只能瞎選)

5.?應(yīng)該互斥的選項是否設(shè)置了互斥(比如“以上均無”選項與其他項互斥)

6.?設(shè)置的選項之間是是否有交叉(防止選項交叉,導(dǎo)致用戶沒法選)

7.?填空題目是否設(shè)置了驗證(如手機號、填數(shù)字要明確單位,如果有必要使用例子說明)

8.?檢查用詞是否太“術(shù)語”,對用戶而言有沒有歧義(避免用戶理解歧義)

9. 檢查單選題目是否有單一答案,區(qū)分”最主要“和”主要“的差異(前者是單選、后者是多選)

10.?慎用“排序”等高級題目(因為用戶的認知成本太高,可能導(dǎo)致臟數(shù)據(jù))

11.?檢查選項是否需要隨機(避免順序效應(yīng))

此外還有錯別字、語氣詞、標(biāo)點符號等等……

2.4 預(yù)投放

當(dāng)問卷通過了自檢和審核就可以投放了,如果有方式,最好做一輪預(yù)投放,看一下回收率和完成率,在真實用戶那里檢驗一遍是否還有漏洞。

問卷是成熟的調(diào)研方式,應(yīng)用在各行各業(yè),問卷調(diào)研的編制是非常大的命題,我僅整理了手機app的調(diào)研思路,且以to C 的產(chǎn)品為主,冰山一角。

 

本文由 @喬北一 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 感謝!

    回復(fù)
  2. 看了很有收獲,正好要做問卷調(diào)研,感謝~

    來自上海 回復(fù)
    1. ??

      來自北京 回復(fù)