問卷調查法的應用

0 評論 6889 瀏覽 33 收藏 18 分鐘

一、為何選擇問卷調查法

產品方對于此次用研項目提出的需求如下:

初看上去,需求比較多、比較雜,似乎無法用一個方法解決所有問題。經過反復和產品方的溝通交流,就能挖掘出他們心中最希望了解的內容。再整理一下,就變成下面的表格:

最終結果除了要展示出網易XX用戶的上述情況,還涉及對調查對象的多種分類,以及不同類別用戶在具體題目上的橫向比較——這可能更為重要。

問卷調查法特別適用于調查:用戶的使用目的、使用行為習慣、態度和觀點人口學信息;不適合探索用戶新的、模糊的需求。

所以,此次調研項目適宜于選擇問卷調查法作為主要方法(同時選用訪談法、運營數據作補充參考)。

二、問卷素材的來源和依據

1.二手資料(已有的理論、報告及行業資訊)

2.自己的使用體驗、競品分析

需要把自己培養成產品的深度用戶,并且還要堅持使用競爭產品。這樣有助于形成自己對產品的直覺和感性認識。

而競品分析能幫助自己對產品有更充分的理解,讓我們從感性認識中提煉出理性看法,同時確保能全面地細致地審視(不會遺漏重要細節)。

3.對產品設計人員、普通用戶的簡單訪談

“三人行,必有吾師”,自學完了,再讓產品設計人員、普通用戶教你一些知識吧。

此時的訪談采用輕松聊天的形式(半結構式),訪談的對象也是方便取樣、就近選擇——目的不在于得出什么結論,更多地是幫助自己進一步加深理解、窮盡多種可能性,為編寫問卷做準備。

而且對于產品設計人員的訪談,還能順便獲悉產品部門工作流程、組織架構、人員配置、可動用的資源等信息——看似無關緊要,其實能使我們最終調查報告的建議更有針對價值!

三、問卷細節

1.指示性說明

社會調查類的教科書里通常要求我們寫上長長的一大段說明文字,但在互聯網上有多少人會認真看一大坨文字?看看《don’t make me think》作者如何做的:從103個單詞刪減到41個單詞(該書中文第二版,P34)!非必要信息不得出現在問卷的指示性說明中

需要提及的核心信息無非就這幾個:A.目的:幫助改進網易XX,也歡迎非網易用戶作答? ?B.時間:3-5分鐘 ?C. 匿名和保密? D.有獎:通過質量檢核的完整答卷可參與抽獎

2.題目編制思路

3.題目設置需注意的細節

1)?簡潔、明確:有時這兩者是個矛盾,但盡量做到平衡。

【例子】 您使用XX的歷史多久?——簡潔

您第一次使用XX是什么時候?——簡潔、通俗

您第一次使用XX(不一定是目前最常用的這個)是什么時候?——稍微犧牲了“簡潔”,但是更“明確”!

2) 態度中立、無誘導性

【例子】 您對目前常用的XX滿意嗎?

您對目前常用XX的滿意程度為?

4.選項設置需注意的細節

1)?選項互斥

【例子】 您平時上網較常瀏覽的內容為?

A.熱點/頭條新聞?? ?B.娛樂八卦 ?C.時事政治? ?D.游戲/動漫 ……

選項A原本是為了對應于“每天都會看新聞頭條、但對于內容領域沒有特別偏好”的這樣一部分人的行為;但A選項與后面選項存在著重疊,尤其A與C重疊的程度非常高。于是,刪除C選項,把A選項改為“時事新聞”。

2)?包含所有的可能

能否做到這一點,就反映出準備階段的工作是否充分。當懷疑選項設置可能不全時,可以再去找產品、設計、運營人員探討、核對。

此外,可以設置【其它________】選項,以確保用戶始終可以作出選擇;同時,選擇【其它_______】選項的比例高低也反映了選項設置是否全面。

3)?用戶易理解

【例子】詢問用戶使用的手機操作系統時,選項“iOS(iPhone)、symbian(塞班)”就比“iOS、symbian”更容易理解,雖然前一種表達貌似不倫不類。

4) 變量的測量類型

實際工作中,只大體區分為“類別變量”和“連續變量”兩大類。就統計測量層次上來說, “連續變量”比“類別變量”級別高,包含信息豐富,也可以使用稍高級的統計方法。所以,可能的情況下,盡量讓選項“變為連續變量”。

【例子】 想了解用戶平時分享站外內容的情況,兩種選項設置(后一種更好):

A.分享????B.不分享

A.頻繁?? ?B.經常??? C.一般??? D.很少?? ?E.從不

5)? 態度中立、無誘導性

【例子】選項“時事政治”改為“時事新聞”;“憤青”改為“熱衷點評時政的普通人”

6)?隨機順序呈現

若選項為事實性的、類別變量,而非按程度順序遞進的連續變量,那么選項應該隨機順序呈現給答題者,這樣可以排除首尾選項或中間選項更易被選擇的傾向。

5.避免反應心向

反應心向是指回答問卷的人具有一種比較固定的作答傾向。有時可能是有意識的:討好出題者;給別人留下好印象。有時可能是無意識的:習慣回答“是”、“同意”;社會贊許性——避免社會文化規范里不贊同、或負面的評價;回避、防衛敏感隱私問題或社會禁忌話題。

在線下、面對面、有獎品的答題環境下,更易發生有意識的反應心向的問題。在互聯網上、匿名的情況下,有意識的反應心向會減弱很多,無意識的反應心向也可以通過以下努力得到緩解。具體做法如下:

1)?指示性說明部分:強調匿名和保密;強調認真、如實回答才能參與抽獎。

2)?問卷中:非必要情況下,不要求用戶填寫收入狀況、手機號碼。即便確實是調查所需,也要說明緣由,且保留用戶自主決定是否回答的權利。

3)?問卷中:設計一些呼應的題目互相印證;并且可以適當采用反向計分的方式。

4)?數據分析時:涉及自家產品和別家產品的滿意度、好感度等這些態度評價的比較時,一定要小心得出結論(可能存在反應心向,用戶對自己產品的評價很好)。

6.建立不同問題、選項間的呼應

一方面,可以互相印證,提升問卷的信度(當然,沒必要僅僅為此而增加題量——得不償失)。另一方面,便于在統計分析時采用交叉分析/列聯表的方法——這會為你的調查報告在“豐富、準確、有價值”方面提升很多!

【例子】“選擇目前這家XX作為您最常用的XX的主要原因為?”、“您對目前最常用這個XX主要不滿之處為?”這兩個題目的結果可以用來互相印證。

【例子】“您在XX上比較關心什么類型的人?”“您在XX上感興趣的內容為?”這兩個題目可以用來做交叉分析,能找出“人”和“內容”最典型、最具代表性的組合

7.題目的排序

總體的題目排序原則如上,有時也要考慮一些特殊情況,比如“接觸產品時間有先后關系、操作流程有特定的順序”,此時局部的題目則按“時間/流程先后”排序。

8.問卷題量

先看問卷法和量表法的區別:

可以這樣通俗地理解:量表是許多專家、花了大量精力在編制環節(工具本身的信效度很高);測試時需要的樣本量稍小一些,就能達到研究目的。問卷原本就需要大量代表性的樣本才能實現目的,況且問卷本身的信效度還欠佳,更需要大量樣本了。

為了得到大量的樣本,且希望數據質量較高,問卷本身就會受到限制——題量要偏少。實際工作中,將問卷總題目數控制在25題之內,平均答題時間不超過300秒(事后統計)。

四、預測試

經過了這么細致和長久的準備,似乎不會再有問題,迫不及待地想要投放問卷了。且慢!智者千慮,必有一失。此時應該再找一些產品/設計人員、普通用戶來預測試一下(方便取樣、最好找之前沒有參與過討論的人)。依據個人經驗,這個環節還是能檢查出一些遺漏問題的。

【例子】問卷中的一題:“您在XX上查找他人的方式為?”自我感覺選項中已經列舉了各種常用方式,一位交互設計師在預測試時問我:為何沒有“直接搜索找人”選項?原來我忽略了這個最直接、原始的查找方式。

五、問卷投放

除了問卷本身的質量,直接影響調查成敗的因素就是樣本質量(實際也就是問卷投放策略的考慮)。順便總結一下,量表調查法最重要的是工具本身(量表的質量、常模指標)和高級統計方法;實驗法最重要的是控制和操控(對無關變量的控制、對自變量的操控);而問卷調查法最重要的是樣本(樣本量足夠大,且具有代表性)。想要樣本量大,就盡可能多地動用投放渠道,當然還有些投放小技巧(越處于操作流程結束后、入口文案的排版越獨立,反饋問卷的打開率越高,詳見taobao UED渡劫的《賣家反饋的影響因素的量化研究》)。

這邊著重談一下樣本代表性的問題。首先得承認,網上投放問卷不是完全隨機抽樣,我們無法苛求調查對象的各種特征完全匹配現實生活中的總體,但是,我們要盡可能爭取覆蓋到不同類別用戶群,以具有更大代表性。

【例子】此次調查,我們除了想知道網易XX用戶的情況,我們還希望能夠了解新浪、騰訊、其它XX用戶的情況。為此,我們做了以下努力:

1) ?除了在網易門戶投放問卷,我們希望盡可能擴大站外投放渠道比例,比如:全國各大論壇、一些搜索引擎頁面、視頻網站頁面等,甚至最好能投放到其它門戶網站(當然實際上不可能花這么多代價)。

2)?當推廣和市場部門的同事希望問卷的點擊圖片包含“網易XX”的字眼(可順便起到廣告宣傳的作用)。對此,我堅決反對,因為這樣無疑會嚴重影響“新浪、騰訊、其它XX用戶”的點擊。

3)?在論壇投放問卷鏈接,市場的同事采用軟文帖的形式,大意是“目前XX產品很火,大家可以去通過此問卷能了解XX產品”,寫得幽默風趣、激發看帖人的好奇心。有同事不認可這種做法,認為不符合問卷指示說明的規范,可能會對用戶作答產生影響。但我個人反而認為這是個比較好的技巧。首先,在工作中是不可能完美地遵循到所有的原則,一定要有“主要矛盾、和矛盾的主要方面”的辯證思維方式,必要的時候須權衡利弊綜合考慮。比如,此時我們最重要的目標是一定要覆蓋到“新浪、騰訊、其它XX的用戶群”,且數量還不能少。其次,看那種帖的時候,用戶是采用的“掃描”而非“仔細閱讀”的方式,頂多動用的是瞬時記憶,等跳轉了頁面、再閱讀正式的問卷指示說明及填寫問卷時,之前的瞬時記憶的影響很小。第三,問卷中讓用戶表達直接態度的題目較少,更多地是事實性的問題,這些問題本身難以受到誘導出現系統性的偏差。第四,我們整理數據時,還有一系列事后的數據檢核手段。

4)?設置自動的隱含題目,能區分來自各投放渠道的樣本量(尤其是區分網易站內、站外)。

六、數據整理

通常數據的檢核需刪除不完整答卷、多選題全選的答卷、邏輯矛盾的答卷;準確且豐富的篩查手段有助于進一步提高數據的質量(這一步可以在excel或者SPSS上完成)。

另外,還需要根據“答題時長”來篩除問卷(太短反映了不認真,太長反映了答題時受外界干擾較多)。采用SPPS中箱形圖的分析,可以清楚地看到“答題時長”這個指標上的偏離值和極端值,及它們對映的問卷ID編號,這樣就能很方便地刪除了。

七、統計分析

問卷調查法因為變量的測量類型限制,可用的統計方法比較低級,描述性統計居多,有時會用到交叉分析、卡方檢驗(偶爾還可以用到相關分析、方差分析)。回過頭來,再次說明問卷編制階段就要考慮好可能用到的統計方法、以及如何盡可能地讓選項設置為連續型的變量。

這個環節雖不像前面的環節直接關系調查的成?。ㄒ驗橛蟹磸蛧L試的機會),但若能夠合理且充分地利用統計技術,將會給最終報告的價值帶來很大的提升。這與用研人員的專業素養有很大關系,需長期不斷努力才能提升,此處不細談。

八、總結

看似簡單的問卷調查,要能做好且讓它發揮最大價值,確實有很多細致的、值得推敲之處。一次用研項目(不管是不是問卷調查法),前期的準備和計劃都非常重要,磨刀不誤砍柴工!

說明:出于對公司產品保密的考慮,隱去有關信息。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!