產品經理如何用數據驅動產品迭代?
出于種種原因,產品崗位會天然地帶有主觀性,運氣好的話,感性與主觀性能打造出不俗的產品亮點;運氣不好的話,過度主觀將給產品與用戶帶來不小傷害。那么我們該如何降低推理過程的主觀性呢?筆者將告訴我們答案,詳見本文。
撕逼天天有,每天都很多,產品經理的日常~
撕逼無外乎意見不合,本質上是因為推理出來的產品方案沒站住腳,其他團隊成員從個人角度剖析之后,有了其他想法,所以開始了這場撕逼。
產品這個崗位本就帶有很強的主觀性(同是微信,如果不合作,我不太相信馬化騰和張小龍兩位產品大佬會做成一個樣子),因此俞軍老師將其定義為社會科學,并非物理化學這種自然科學,存在固有的規律,所以一千個人眼里有一千個理想產品的樣子。
那么我們又該如何降低推理過程的主觀性?數據也許是不錯的方法,因為它不撒謊。
以電商APP的下單流程為例,說一說如何用數據來驅動一次產品迭代。
一、發現問題
問題來源一般有兩種:
1. 用戶側
這應該是最主要的問題來源,經過市場驗證后的聲音,用戶反饋、用戶調研和問卷等。
2. 產品側
相比于用戶側,問題少一點,但也同樣重要。
「解決問題」是公認的產品經理核心能力,但我認為「發現問題」同樣重要,我們也要注意從產品側主動發現問題。
用戶的嘴可能不會follow heart,但身體卻很誠實,然后在數據庫留下了一系列言行不一的行為軌跡,我們從中可以發現當前產品的問題,甚至有可能發現顛覆你認知的用戶表現。
eg:
*矩形高度代表人數
*百分比=從上一頁面轉化來的人數/上一頁面人數
這是一款電商APP的下單路徑轉化漏斗,可以看出在詳情頁 → 下單頁這個環節人數大幅下降,遠低于其他環節的轉化率,用戶為什么進了詳情頁之后掉頭就走了呢?
二、提出假設
無論用戶側還是產品側的問題,我們得到的都是問題表象,需要找到可能的問題原因,然后依此提出針對性解決方案。
eg:
首先定位問題原因,提出我們的假設。
經過分析,認為當前的商品詳情頁的頁面布局,無法突出商品價值,過于強調商品注意事項,導致用戶未能真正感受到商品價值,反而被一堆注意事項嚇退了。
接下來就要想解決方案,優化頁面布局,突出商品價值,弱化注意事項,讓用戶放下戒備,放心購買。
三、確定評估指標
1. 指標類型
北極星指標
屬公司戰略級指標,基本由boss或產品高層制定,是長期目標,輕易不會變動。
方向指標
項目中的關鍵指標,用來衡量問題解決程度,與北極星指標正相關,也就是與產品大體目標一致,提升產品效用(對用戶問題的解決程度)。
負面指標
項目中關鍵指標,用來衡量為了解決問題,而帶來的負面影響程度,北極星指標負相關,與產品大體目標相悖,會降低產品效用。
注意:要提前設定好最差能接受的范圍,就是這個負面指標跌到什么程度是不能接受的。
行為指標
非必需指標,大概就是某個頁面的訪問次數,按鈕的點擊率這種行為數據,基本用來分析背后的原因,不適合作為關鍵衡量指標(就是為了解決某個行為的問題的情況不算)
在項目中,通常用來衡量新版本上線效果的是方向指標和負面指標,北極星指標起到方向性作用,保證我們的大方向不會錯,行為指標用來分析問題原因。
eg:
在這個項目中,方向指標是要將詳情頁 → 下單頁的轉化率提升30%,從而提升訂單量,最終實現利潤增長,經分析對北極星指標有正向作用。
但是呢,優化方案中放大產品價值、弱化注意事項,用戶可能會被誤導消費,沒有看到注意事項就下單了,導致商品到手之后不滿意,最終結果是退貨率增高。當然,我們肯定不能接受用戶買完都退貨了,所以要設定一個我們能忍受的底線,經過分析后,確定能忍受的最高退貨率為10%,超出這個值成本就cover不住了。
四、增加埋點
指標已經確定好了,接下來就要讓開發哥哥埋點了。
從指標出發梳理埋點,想驗證這個指標,需要什么數據來支持,直接拿實例說吧。
eg:
設計埋點不是一個簡單事,其中有很多技巧,盲目埋點不僅有可能會數據污染,還可能造成不可逆的影響,比如2月5日增加的點擊按鈕這個埋點,你想看2月1日的埋點數據,抱歉沒有。
舉兩個踩過的坑:
①轉化漏斗不閉環
詳情頁 → 下單頁的轉化率=下單頁訪問人數/詳情頁訪問人數,我需要計算出這個單一路徑的轉化率,我上面埋的是下單頁的訪問uv,這種情況下就需要保證下單頁只有一個上級來源(即詳情頁)。
比如運營同學配置了一個banner,可以直接跳轉到下單頁,那我們想驗證的指標:詳情頁 → 下單頁轉化率就會出現偏差,因為下單頁的所有訪問并不是都來自于詳情頁。
有一個常用的解決辦法:不埋下單頁的訪問事件,埋詳情頁的購買按鈕點擊,因為點擊購買按鈕必定會跳轉到下單頁,以此來解決行為來源問題。
數據埋點要形成閉環,尤其是分析轉化漏斗。
②數據結果不準確
比如有兩種退貨頁面流程:
- 頁面流程1:訂單頁(點擊退貨按鈕) → 退貨成功頁
- 頁面流程2:訂單頁(點擊退貨按鈕),出現退貨成功彈窗
如何拿到最準的數據結果?這個很關鍵。
在這個操作中,流程1比較好辦,進入退貨成功頁說明一定成功了,所以可以用退貨成功頁的訪問uv來判定退貨人數,但是流程2沒有了頁面訪問,點擊退貨按鈕之后會發生兩種結果(成功或失敗),所以點擊退貨按鈕立即上報埋點不是最佳方案,會把退貨失敗的行為也上報,這會導致數據結果不準,也是埋點中的一個坑,一定要和開發哥哥明確埋點上報時機。
有一個常用的解決辦法:比如說前端埋點,上報時機明確為:后端返回結果為“成功”時上報埋點,“失敗”不上報。
數據上報一定要準確,不能誤報。
其實設計埋點是個技術活,除了這兩個例子還有很多坑,之后打算專門寫一篇如何設計埋點。
好啦,設計完埋點,寫好DRD(數據需求文檔),就等著市場的驗證了。
五、分析數據結果
灰度上線 → 全網上線,是常見的上線策略,因為特殊考慮等原因直接全網上線的就不說了。
1. 設定實驗組和對照組
灰度開放的用戶量不宜多大或過小,因為新版本的體驗好壞是不確定的,不同業務會有不同考慮,通常是以能驗證結論,又能最小程度干擾用戶的程度為標準。
這個灰度開放的用戶量,滿足統計學上樣本量的置信度即可,網上有很多下圖這種計算器,直接用就好了,不用專門學統計學。
樣本量計算器
灰度開放的用戶中選取用戶作實驗組,老版本用戶中選取用戶作對照組。
具體的選取方法要靈活,就像我們上學時候的一種物理實驗方法-控制變量法,不同的實驗目的,要控制不同的變量,根據控制的變量選擇合適方法。
eg:
我要驗證兩組用戶在詳情頁的行為,所以我隨機選取灰度開放中訪問詳情頁的n個用戶,定為實驗組,再隨機選取n個老版本中訪問詳情頁的用戶,定為對照組,觀察分析這兩組流程轉化率。
2. 分析驗證指標
項目指標:方向指標和約束指標
從實際表現來看,方向指標雖然未達預期,但也起到了較好的效果,大幅提升了詳情頁 → 下單頁的轉化率,但是!但是!但是不要著急,這并不代表這一定就是正向的解決方案,我們還要跳出項目本身,看一下整個產品的指標變化,不能因小失大呀。
產品指標:北極星指標
北極星指標可能回報期比較長,比如利潤還要等合作商家的回款才能提升,所以北極星指標可能會存在延遲變化,我們有時候也要提前考慮到這個特性,避免我們錯誤認為一頓操作猛如虎,一看戰績0-5。
項目指標表現很好,但是產品指標不一定會表現好,需要我們全局來看。
比如我優化的是兒童電話手表品類的詳情頁(不同品類的詳情頁會不一樣),家長都給孩子去買兒童電話手表了,導致兒童手機品類賣不動了,由于兒童手機客單價遠高于兒童電話手表,導致產品整體利潤下降了,產品指標倒退,也不是沒有可能啊。
所以,一個項目上線之后,不僅要分析項目本身的ABtest結果,還要考慮產品大盤影響,項目指標和產品指標都要兼顧到。
項目指標和產品指標是我們在設計方案時就想到的,但現實就是這么有意思,經常會給你surprise~冒出來你意料不到的數據波動,還是拿例子說話~
比如實驗組的用戶流失率要明顯高于對照組,這是之前我們沒有想到的,這時候就有可能用上我們之前說的行為指標,來輔助我們分析原因。
首先要知道:數據會告訴我們怎么了,不會告訴我們為什么。
我們觀察用戶行為后發現:大部分流失用戶最后一次操作都是查看退貨進度,那我們就可以提出假設:用戶是因為退貨率增高導致流失率的提升,因為用戶退貨這件事是比較挫敗的(甚至是對平臺不滿意),導致對產品的滿意度和好感直線下降,然后流失。假設是否正確,就需要通過用戶調研等手段再去驗證了。
所以,除了可預期到的指標外,還要注意從天而降的其他指標波動,及時找出波動原因。
關于上線策略,有兩個注意事項:
1.灰度時間不宜過長,盡快得出實驗結論,避免新版本負面效果影響用戶;
2.如果條件允許,保留一小部分老版本用戶,即不完全全網開放,因為灰度上線時間較短,新版本用戶可能會因新鮮感而表現出了正向的數據結果,但從長期行為來看不一定優于老版本,所以留一小部分老版本用戶作為對照。
因為互聯網產品具有大數據量和快速迭代的特點,所以產品經理在懂用戶和業務之外,利用數據做好ABtest非常重要,快速試錯和調整,做到小步快跑。
六、最后總結一下,數據驅動產品迭代的步驟
- 發現問題
- 提出假設
- 確定評估指標
- 增加埋點
- 分析數據結果
本文由 @十八線產品 原創發布于人人都是產品經理,未經作者許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
如何平衡轉化率和退貨率呀
期待埋點的詳細分析~~~
有實戰的埋點方案分享的嘛? ?
請提需求,今天不睡,明天上線?。】蛇€行??哈哈
正打算后續寫一篇如何設計埋點,敬請期待~
哈哈哈哈~,我回去搬小板凳,好了叫我