關于用戶抽樣,你需要知道的”內幕”

0 評論 17944 瀏覽 16 收藏 10 分鐘

用戶研究中,選誰來參與調研是件重要的事情,一方面因為調研目的不同,選擇的調研對象不同,另一方面時間精力和資源有限,不可能把所有的目標用戶研究一遍。怎么做用戶抽樣?專業書上會有詳細說明,本文主要分享工作中常用的、實用的幾種方法。

從是否符合統計要求來說,抽樣可以分為非概率抽樣與概率抽樣。

非概率抽樣

定性研究注重信息深度而非統計意義,常用非概率抽樣,如可用性測試中,我們找符合要求的公司普通同事參與測試,快速發現問題,這就是“就近法”;再如深度訪談時,我們發現每增加一個用戶的邊際效用遞減,新增用戶所帶來的信息極其有限,訪談獲得的信息已經基本飽和,就沒必要繼續增加訪談對象,這是“目標式或判斷式抽樣”。

非概率抽樣還有滾雪球式抽樣和配額抽樣,“滾雪球”顧名思義,讓目標調研對象再去找符合要求的對象。比如需要找讀書會成員,找到一個以后,再讓ta推薦其它會員,效率較高。配額抽樣,常用于一個大群體中的各個小群體之間差異明顯、需要對不同小群體分別進行抽樣的情況。比如醫療美容類APP,男女比例為1:9,差異懸殊,有必要進行配額抽樣。控制嚴格的配額抽樣可以認為具備統計意義,可做定量參考。

非概率抽樣

概率抽樣基于概率理論(數學的一個分支),相對復雜。概率抽樣的基本原則是,如果總體中的每一個個體被抽取為樣本的概率相同,那么從這個總體中抽取的樣本,就具有對該總體的代表性。概率抽樣必須是隨機抽樣,換一種說法,概率抽樣能避免各種偏見(人為因素)影響。

概率抽樣涉及四個概念:

  1. 抽樣誤差
  2. 置信水平
  3. 置信區間
  4. 樣本量

想要深入了解?這里幾句話說不清楚,請學習統計學或者概率論吧。

嚴格的概率抽樣,隨機抽到某樣本后,該樣本必須反饋信息;如因各種原因無法反饋,再用相同條件隨機抽取一名。這種做法在市場調研的線下執行中比較常見,因為線下可以“盯人”填問卷/做出反饋。在網絡問卷調研里卻不常見,因為網絡調研很難做到嚴格的隨機。

這里簡單介紹用研工作中做定量調研會遇到的情況。第一種情況是產品有完備的用戶數據,當需要對用戶的行為/狀態進行分析時,不用考慮抽樣,按分析目的選取全部所需數據即可。另一種情況是近似的概率抽樣,因為做網絡問卷調研時,渠道特點、用戶特點等帶來的抽樣偏差無法避免,網絡調研的抽樣偏差主要有這幾種情況:

  1. 渠道自身的過濾作用,如問卷Banner放在LOFTER發現頁,只有訪問這個頁面的用戶才會看到該問卷調研。
  2. 用戶活躍程度影響填答概率,如問卷投放5天后回收,隔一周甚至更久才會登錄一次的用戶,很難有機會發現問卷并進行填答。
  3. 用戶自身特點,有些用戶“高冷范兒”不喜歡表達,不管問卷“廣告詞”寫得多生動他都無動于衷,這樣的用戶需要通過其他方式接觸。

產品不同,用戶特點也不一樣,由此造成抽樣偏差不會完全相同,這點需要用研人員在項目實踐中自行思考積累。

外包渠道招募時需要注意

關于抽樣,有必要再提一下外包渠道招募。招募用戶是個費時費力還依賴人際關系網的工作,有時候需要借助第三方。但是要把招募交托給第三方公司,自己還是要花很多心思在三方面:

  1. 界定招募條件
  2. 明確時間進度
  3. 監控招募質量

首先,跟第三方招募渠道打交道,招募條件越死板越好,別指望對方會根據調研目的主動去思考怎樣的人符合要求。你告訴他們的是一個個可以用證據證明的要求。比如每個月在淘寶上網購15次以上,那就提供指定月份的該用戶淘寶購物記錄截屏,截屏顯示網購次數15次以上。有時候為了找到真正符合要求的用戶,不用告訴對方全部的真實招募要求,適當隱藏一兩個,只告訴需要怎樣的“證據”即可。比如手機淘寶是“千人千面”完全個性化的,想了解用戶近期感興趣的物品,只需說我們要一個“淘寶首頁截屏”即可,不用說要截屏的目的。

其次,招募過程中不斷催進度、催進度、催進度。我們覺得難招的人,第三方招募公司也不一定容易招,他們會把招募要求分發給各個線人,線人再繼續去搜索,整個鏈條很長。不催的話,出現“明天要訪談/測試了,今晚用戶還沒完全敲定”的情況就不奇怪了。

最后,監控質量也非常重要,主要是指識別“假用戶”。一般如果招募6個用戶,第三方公司會給8個符合要求的用戶,這也不保險,我們曾經遇到過“8選6”但最終只選出4個符合要求的真實用戶的情況。識別“假用戶”沒有固定的套路,需要隨機應變。

關于質量監控,有個例子分享:

一次調研中,我們要求找時尚領域的用戶,平時會主動消費時尚資訊或使用相關應用,羅列了一批雜志、網站、公眾號、應用,要求目標用戶至少正在消費或使用其中的兩項或以上。

 

第三方幫助招募到了一批用戶,暫且稱他們為A、B、C……其中見到A的第一眼,我不敢相信自己的眼睛,“這真的是關注時尚的用戶?!宅男吧,頭發好多天沒洗了嗎?這褲子五年前買的吧……”本著大膽假設小心求證的態度,我們問他平時看哪些時尚內容,在哪里看?A說在微信里看公眾號XX和XX,我們跟進:“XX公眾號不懂,還沒看過,能不能讓我們看一眼?”A打開微信給我們看XX公眾號,我們再問:“這個號的內容風格是怎樣的?能再看一條具體內容嗎?”A點進去,我們看到公眾號第一條消息是當天早上9點多發的“歡迎辭”,也就是說用戶在到達訪談地點之前剛剛關注該公眾號。到這里已經確定A不是我們要找的人。

 

轉向B用戶,B手機上有好幾個我們要求范圍內的APP,B還表示經常在其中一個APP里買東西,最近剛買過鞋。請其打開APP想大致了解一下她會買哪些東西,發現里面沒有任何購物記錄。B說她是學生,沒有網銀,無法網購,鞋子是用老媽的手機買的。OK,我們轉而問她別的問題,最后話題扯到手機淘寶,找個理由看到她淘寶購物記錄,嘿嘿,B有網銀,網購很“熟練”。

 

再綜合其它因素,確定B也不是我們要找的人。

工作中做定量調研,不是追求樣本量越大越好。以問卷調研為例,在嚴格符合抽樣要求的情況下,假設產品的用戶量級為百萬級,400個樣本就能滿足統計需求(置信水平95% (即=0.05),e取5%)。當然這是理想狀況,實際很難遇到嚴格隨機抽樣的情況,或者說做到嚴格隨機抽樣的成本特別高。用研人員的核心價值在于了解上述無法通過計算樣本量和置信區間等技術手段解決的抽樣問題,并且有辦法處理好這些問題。比如參照行為數據按比例推算,比如把結論限定在某個范圍內,比如結合其他渠道的信息綜合分析問題等。

以上是一些個人的粗淺體會,歡迎討論。

#專欄作家#

作者:韓曉燕,人人都是產品經理專欄作家,網易杭州研究院,產品發展部,微信公眾號“用鹽有點咸”,用戶研究。

本文由 @韓曉燕 原創發布于人人都是產品經理。未經許可,禁止轉載。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!