問卷調查(questionnaire)是用戶研究或市場研究中非常常用的一種方法,這種方法可在短期內收集大量回復,而且借助網絡傳播調研成本也比較低,所以得到廣泛的使用,但是似乎有些人認為問卷調查就是設計若干問題然后發給用戶填寫就行了,但其實越是簡單的調查方法越是有需要注意的地方,這樣才能真正發揮該方法的優勢,下面就結合自己近期的項目實踐對這種方法進行總結,意在總結流程,所以具體的題目此處不做呈現。
一問卷調查的基本定義
1問卷調查與量表
其實問卷調查本人更傾向于稱之為調查表(questionnaire或者survey),它與心理學上常見的量表(scale)還是有很大差異的
總的來說,問卷調查更多的用于了解目標對象對某些事情的態度,認知等,而量表是用來描述目標對象的某種心理特質在群體中的相對位置,如智力量表等,在企業的實際工作中,問卷調查法使用頻率更高。
2問卷調查的用途
正是由于問卷調查的基本形式是設計問題,提供選項供用戶填寫,所以問卷調查更適合收集用戶對現有產品的態度、基本習慣信息和人口統計學特征等,不太適合用于探索發現新需求新問題(無法提供選項,而用戶自己填寫意見/建議的比率也非常低),而且其具有投放成本低,參與成本低的特點,特別適合需要大量樣本的用研項目。
3關于問卷調查網站
目前提供問卷調查表設計和投放的網站很多,個人用戶使用免費版本一般都可以滿足需求,企業的話,一般是自己開發相應功能或購買使用調查表網站的企業版本,就我而言,對使用過的三種調查表網站進行簡單評價。
(1)問道(http://www.askform.cn/)
僅使用過個人版本的,支持2000份答復,設計問卷的界面比較清晰易懂,支持的題型不算特別多,不支持選項中插入圖片,不能看到其他用戶的問卷的答復。
(2)問卷星(http://www.sojump.com/)
僅使用過個人版本,支持20000份答復,支持的題型比較全,可以看到別的問卷的答復,有常用題庫功能,個人認為這個網站功能比較全,考慮日后使用企業版本。
(3)Surveymonkey(https://zh.surveymonkey.com/)
目前正在使用企業版本,支持自定義主題,跳轉頁面等,雖然是美國知名的調查網站,但國內使用頁面打開速度很慢,且中文版本僅支持繁體字,支持的題型不算多,無法看到其他用戶的問卷,更無法看到其他用戶的問卷答復結果,沒有常用題庫。
二問卷調查表的設計
1調查目的
明確調查目的非常重要,這決定了調查表的結構,問題的設計等,如果是運營等其他部門提出的需求,一定需要和能最終拍板的人溝通調查目的,不然很多人都希望加進去自己想調查的題目,會造成結構不清晰,題量過多的問題,而且由此造成的反復增減問題也沒有實際意義。而且考慮到題量的問題,目的不宜過于宏大,一次集中精力調查一兩個主要問題為宜。
2題目設計
題目的設計要圍繞調研目的展開,以電子商務網站滿意度調查為例,首先分解影響滿意度的因素,可以參看有關理論,其他研究資料或者其他部門同事的意見,得到網站,服務,購物流程和物流四個因素,每個因素還可以根據需要進一步分解,得到更多指標。如果前期題目設計時結構比較清晰,后續的結果分析也可以用過更深入的統計方法。
除此之外還應注意一個題目僅針對一個問題來詢問,不然容易另用戶迷惑,題目的表述要盡量簡潔易懂,避免歧義,雖然在很多調查表網站中,多選題和單選題的選項按鈕是不一樣的,但是個人還是建議再多選題題干中提示“可多選”,以盡量減少誤解造成的誤差。
關于題目的呈現問題,有些調查表是一道題目一個頁面,填寫完一題點擊下一頁繼續,我認為在網速不好的情況這種呈現方式會徒然的增加用戶的填答時間甚至是焦慮情緒,如果不涉及邏輯跳轉題的話,最好一個頁面呈現所有的題目,題量的設計盡量在15題或填答時長控制在5分鐘以內。關于人口統計學特征題目的位置,個人傾向于根據調研目的而定,如果目的就是搜集用戶基本信息,就放在調查表開頭,如果目的是收集產品反饋,就放在題目末尾為宜。這樣即使用戶中途棄答,我們也能搜集到比較重要的題目的反饋以作參考。
在問卷調查表中往往需要設置邏輯題,來針對具備某些特征的用戶進行調查,所以在設計問題時需要了解該問題是針對所有用戶還是部分用戶,具體來看下面的例子
在這道題目之前我并未填寫任何分享照片有顧慮的內容,而且我也沒有這方面的顧慮,所以這道題真的難倒我了,只能迫選了。
不要忽視末尾處建議/意見題目,在本次項目一開始我會認為用戶很少有耐心會填寫這類開放式問題,但實際上還是有很多用戶提供了寶貴意見,反饋的積極性遠超過的我想象。所以這也是一個搜集用戶新需求或問題的一個途徑,雖然回收到的答復未必很多,但成本很低,值得嘗試。
3選項內容設計
題目的設計非常重要,這決定了調研目的的實現度,但是回復質量往往由選項內容而定,因為用戶的態度,習慣,愛好等是通過選擇我們提供的選項而得到,所以選項內容的是否全面、合理就非常重要,這個也要根據具體情況而定,但需要注意的是,選項要盡量全面,彼此不包含。下面有個反面的例子:
這里如果工作經驗恰好是3年的是選哪個呢?也許這類題目對答復質量要求不高,但畢竟存在歧義,應該避免。
同時一個選項就應該只包含一個內容,需要仔細推敲,見下面的例子
一開始設計“能容易的找到目標商品”這道題目的用意在于調查用戶對搜索或導航功能的評價,但是后來也發現這道題目同樣可以用于評估商品種類是否豐富,這樣就存在歧義了。
關于意見態度類的題目盡量采取里克特量表的形式,可以得到更多信息,且便于后續的統計分析。對于選項較多的題目,建議將其設置成選項內容隨機排序,以避免有用戶圖省事只選擇前面幾項,平衡順序效應。
為了進一步統計調查表質量,有時候也需要設置反向計分題,甚至“測謊題”,以查看前后回答的邏輯是否一致,以提供后續數據處理的篩選指標。
在題目和選項都設計好之后,需要請相關人員和與該調查項目無關的其他同事進行試測,這個環節非常必要。
三調查表的投放
編制好后的調查表對于投放方式,時間等問題也是需要考慮和記錄的,不僅有利于提升收集到的回復質量,也便于為以后的調查表投放積累經驗。
1投放方式
對于互聯網公司,目前常用的投放方式是放置在頁面上或者EDM,其中對于放置在頁面的調查表,一般是放置在需要調查的頁面上,具體頁面上的位置常見的是側頁面跟隨或者右下角,如果能得到足夠的支持,甚至可以在首頁得到輪播banner的位置。有文章分析過問卷的不同入口位置的效應,關于網頁問卷入口的小結,該文章已經分析的相當詳細,當然各個網站的情況可能會有差異,所以建議在每次投放時都對投放情況進行記錄,由于調查主題,節假日,網站同期活動等因素的影響,也許很難得到不同頁面,不同位置的回復質量的明顯規律,但是總可以為以后的投放積累經驗。關于EDM的投放效果,有興趣的可以看這篇文章,影響用戶響應與填答問卷的要素_郵箱投放問卷。
不管是哪種投放方式,都存在樣本代表性的問題,即很難做到真正的隨機抽樣,即使是EDM針對目標用戶發送,依然會僅有部分用戶響應,這部分要么對產品意見很大,要么就是相對比較積極的用戶,因此在使用調查表結果時一定要注意其代表性,批判性的接受。為了吸引用戶填寫,有時候會設置獎品環節,但應注意目前存在專門收集有獎調查的網站,其中的用戶會“熱衷”的填寫各種有獎調查表,因此在有獎調查時要著重注意對回復質量進行篩選控制。
2投放時間
關于投放時間其實存在兩個方面,具體投放發出的時間和投放時長,對于在網頁上發布的調查,由于資源有限,往往在投放前就需要對投放時長進行預估,如何在有限的時間內得到盡量多且質量高的回復非常重要,同樣需要對每次的投放進行記錄分析,具體的做法可以參見調研問卷投放時間的探討。與投放方式類似的,由于各種影響因素的存在,也很難找到投放時間明顯的規律,在我本次的調查中,僅發現在調查表投放初期,用戶填答率相對較高,在一周內的時間內,周三和周四的填答率相對較高,但差異并不顯著。另外在投放時長方面,僅從經驗來看,建議兩周為宜。關于投放方式和投放時間,由于各個網站都存在自身的特點,即使進行統計分析,也難以發現明顯的規律,建議還是多做記錄,多積累才會更有經驗,具體的分析方法可以參看上面給出的文章。每次需要記錄的指標包含但不限于投放時長,回收答復數,uv,填答率,完整填答率,有效填答率,平均用時等。
四調查表結果分析
1數據初步處理
雖然現有很多調查網站支持數據分析,快速的生成各種圖表,有的還能直接生成一份報告,但我還是建議從數據的明細入手,根據一些指標刪除部分不合理的數據再進行分析。可供參考的指標,填答時長,IP,用戶基本信息,調查表內的控制題目等。
填答時長
填答時長是個比較常用的篩選指標,但是由于問卷內容彼此差異較大,制定篩選的標準似乎難以統一,有的是通過作圖(spss箱形圖),也可以通過修剪平均數的做法(例如去掉頭尾5%的部分)。
IP
目前很多調查表網站可以收集IP地址,這也是有獎調查活動中了解用戶是否重復參與的一個途徑,當然不排除動態IP或者網吧填寫的可能,所以使用要慎重。在設計網站時就控制一臺電腦/一個IP只能填答一次。
用戶基本信息
有些調查中會搜集用戶的基本信息,如網站賬號或電話等,這些指標也可以用于判斷是否重復參與答題。
調查表內的控制題目
這個主要通過題目之間的前后邏輯進行判斷,舉個例子,如用戶在“xx滿意度”題目中滿意度給分很高,但是在隨后“對xx的評價”中評價很低的話,那么答卷質量就可能存在問題,想要通過題目控制調查表質量需要在設計調查表時就進行深入的思考和準備。
當然,篩選標準不限于以上幾種,具體的要依照調查表自身特點,不妨多個篩選指標組合使用。
2統計分析方法
調查表結果分析所使用的方法往往是和調查表的設計有關,比如“您是否愿意推薦xx”,如果選項設置為“是/否”就得到一個二分變量,而設置成里克特量表形式就可以得到推薦意愿度的數值,相應的統計分析方法也會有所不同。
除了統計分析每一題目的答復情況,對一些題目進行交叉分析,相關分析,或差異檢驗也可以幫我們更多了解數據背后的信息。
調查表的結構也會影響統計方法的使用,特別是需要進行深入統計分析,探明各個指標之間關系的時候。如我曾調查過用戶對商城信任度的評價,經過資料搜集,編制了服務,產品,,網站設計,付款安全性等幾個指標的題目,收集數據后對這些指標進行了因素分析(采用了主成分分析法),kmo和巴勒特球形檢驗都顯示適合因素分析,結果顯示提取出了一個因素,解釋變異78%,是否就可以表明商城的信任度就是由調查表中的那些指標組成呢,是否就得到了信任度模型呢?答案是否定的,以上僅僅是建立模型的探索性因素分析部分,如果真的需要建立信任度模型還需要驗證性因素分析部分(結構方程模型,可以用AMOS實現)。如果需要采用調查表的方法建立模型,僅僅使用因素分析進行降維是不夠的,降維和建立模型還差的很遠。模型是否成立就與當初設計調查表時思考深度和實際工作需要有關。
另外,目前本人對一些開放性的意見/建議類題目的分析還沒有很有效的方法,只能逐條查看,將涉及到的問題分類匯總,但是這樣比較耗時,待改進。
關于多選題的分析方法,已經有文章進行了深入分析,有興趣可以查看調研問卷中多選題的分析方法探討
3形成分析報告
分析報告往往是呈現給業務部門的同事看的,所以最好是以更直觀的方式呈現,采用有說服力的圖表,輕分析過程,著重結論和意見建議部分,最好能點出每條結論對應的相關業務部門,在指出問題的時候也盡量給出建議。
五調查表以外的一些問題
用研項目如調查表等最好能征集到其他部門的支持,共同參與,不但利于前期調研方案的制定(可以傾聽到更多的意見和建議,但是也要注意鑒別,用自己的專業知識和經驗對項目進行把關,得到更多的資源,如在首頁上設計輪播banner,微博轉發和獎品設置以吸引更多用戶提供意見,而且后期的分析結果也更易得到關注,相對更容易進行推廣。{來源于nightwind http://nightwind.diandian.com/}