讓產品轉化率提高30%的增長實驗,你get到了嗎?

2 評論 5350 瀏覽 24 收藏 15 分鐘

編輯導讀:增長是懸在每個企業頭上的達摩克利斯之劍,對它又愛又恨。在這個獲客越來越難的時代,如何提高用戶的增長率及轉化率,是每個企業都需要思考的問題。本文作者以一個增長實驗為例,對此作出了一些分析,希望對你有幫助。

開展增長實驗的步驟一般分為:產生實驗想法、排序實驗想法、設計實驗、開發實驗、分析實驗結果、產出增長報告。下面我們分別介紹。

一、產生實驗想法

1. 明確實驗的目標

我們開展增長實驗一定是基于我們發現了什么問題。

是某個按鈕轉化率過低?還是某個功能留存率過低?找到問題,我們才能知道優化的方向。比如我們發現注冊功能轉化率僅為30%,那么我們可以制定我們的實驗目標為:把注冊功能轉化率從30%提高到50%。下面我們都以注冊功能轉化率低的案例舉例。

2. 找到問題產生的原因

為了達成實驗目標,我們要去發現問題產生的原因。

我們可以通過定性和定量兩種方式來尋找問題產生的原因。

在定性方面,我們可以通過用戶調研、用戶可用性研究等方式來了解為什么注冊功能轉化率這么低。

在定量方面,我們可以通過數據來洞察。比如,通過漏斗模型是否可以查看用戶在哪里流失率最高;通過用戶分群,是否可以了解哪些用戶注冊轉化率高、哪類用戶注冊轉化率低等等。

3. 根據原因尋找解決方案

知道問題產生的原因,尋找解決方案就容易了。

我們可以通過定性、定量以及最佳實踐的方式來尋找解決方案。

定性、定量就不介紹啦,和“找到問題產生的原因”里面的大同小異。

這里聊聊最佳實踐。所謂最佳實踐就是那些公認為可能會提高轉化率的方法。比如B=MAT模型、Lift模型。

在B=MAT模型中,想要提高用戶的轉化率這一行為(behavior),我們要給予用戶足夠的動機(motivation)、降低用戶阻力并且提高能力(ability)、在適當情景下給予觸發提醒(trigger)。

Lift模型主要分為價值主張、相關性、清晰度、焦慮感、注意力分散、緊迫性。

  • 價值主張。要有明確有力的營銷口號,用戶可以精準地感知到自己能夠獲得什么好處。
  • 相關性。落地頁、轉化頁符合用戶預期、與你的價值主張緊密相連。
  • 清晰度。體驗流程流暢,用戶清晰知道下一步怎么操作。
  • 焦慮感。做減法,不要給用戶過多的選擇;不做不符合用戶預期、習慣的事情。
  • 注意力分散。減少視覺感染,信息噪音。
  • 緊迫性。營造饑餓感使用戶快速決策,善于利用稟賦效應、損失厭惡心理。

在這里我們利用以上的方式,假設針對“注冊功能轉化率低”得出的解決方案如下:

  1. 縮短頁面不必要的注冊流程,比如在注冊時不需要用戶填寫郵箱等個人信息。只要輸入手機號以及驗證碼即可登錄注冊。
  2. 突出注冊按鈕。

4. 形成實驗假設

最后我們要根據前幾步形成我們的實驗假設。在這里給小伙伴分享一個實驗假設的模板。

“如果[做了某個具體的改動],預計[某指標]可以提升[X%],因為[深層的原因,有數據支持]”

根據上文,我們的實驗假設即可如下:

  1. 如果[在用戶注冊時去掉輸入郵箱等個人信息],預計[注冊轉化率]可以提升[30%],因為[通過漏斗分析,用戶在輸入郵箱等個人信息時近一半流失掉了]。
  2. 如果[把注冊按鈕變為原來的1.3倍],預計[注冊轉化率]可以提升[10%],因為[突顯了核心流程]。

二、排序實驗想法

利用ICE可為我們的實驗想法進行排序。ICE分為預期影響(Impact)、成功概率(Confidence)、容易程度(Ease)。

  • 預期影響指此實驗大概會影響多少用戶;實驗如果成功了,預計指標能夠提升多少。
  • 成功概率指的是有哪些數據或者證據來認為這個實驗會成功。
  • 容易程度指的是我們需要投入多少人力、物力等資源才能完成這個實驗。

為三類指標分別賦予0-10的分值。最后的綜合得分=預期影響的分數+成功概率的分數+容易程度的分數。

三、設計實驗

1. 選擇的實驗的指標

這里我們需要關注三類指標:核心指標、輔助指標、反向指標。

  • 核心指標是決定實驗的關鍵指標,也是最直接的指標。優化注冊轉化率這個實驗我們需要關注的就是注冊的轉化率是否提高/降低了。
  • 輔助指標是指實驗可能間接影響的指標。比如優化注冊轉化率對日活、激活率有何影響。
  • 反向指標指的是指衡量實驗產生負面影響的指標。比如頁面退出率、訂單取消率、應用卸載率等等。優化注冊轉化率這個實驗不涉及反向指標。

2. 明確實驗的受眾

我們此次增長實驗是針對哪類人?我們可以根據操作系統、瀏覽器類型、地區、來源的渠道等方式進行分組。比如針對注冊轉化率的增長實驗,我們的受眾就是通過百度搜索來的新安卓用戶。

我們在做A/B測試的時候要有實驗組和對照組。這里我們設一個前提,都是通過百度搜索新來的安卓用戶。

假設我們這里開展“新用戶注冊時去掉郵箱等個人信息”的實驗。

  • 實驗組:使用修改后的版本的用戶。
  • 對照組:使用修改前的版本的用戶。

這樣做的好處是,避免了其它變量對實驗的影響。

3. 預估試驗樣本量

明確受眾后,我們還要知道需要多少的樣本量才能證明我們的實驗成立。

這里我們需要引入“統計顯著性”的概念。統計顯著性的含義是指兩個群體的態度之間的任何差異是由于系統因素而不是偶然因素的影響。假如我們利用A/B測試做這個實驗,發現轉化率有差別,當統計顯著性為95%,則說明有95%的可能性轉化率的差別是真實存在的,有5%的可能性差別是由于誤差引起的。

一般建議統計顯著性為95%以上。

假設我們之前版本的注冊轉化率為20%,新版本的注冊轉化率為25%,統計顯著性為95%時,我們則需要每個版本分配至少670個樣本量。

假如我們想讓統計顯著性提高到99%,則至少需要700個樣本量。

小伙伴如果需要此工具,只需在我的公眾號回復“增長工具”即可獲得。

4. 預估實驗時長

知道了樣本量,接下來我們要預估實驗要持續多久。對于某些實驗可能很短的時間就能看出這個實驗的真正結果,但對于某些實驗可能需要更多的時間才能得到真正的結果。

這里我們用一個公示:

實驗所需時間=所需總樣本數量/頁面每天訪問數

假設針對“注冊時去掉郵箱等個人信息”的實驗,我們需要的樣本量為1400(新舊版本分別700個樣本量),每天注冊頁面訪問人數為140。則實驗時長=1400/140=10天。

四、開發實驗

首先我們要對數據進行埋點。

如果你是使用第三方的A/B測試工具,我們要確定實驗的指標(前面已經敘述過)、找到此指標對應的用戶行為,然后把我們的埋點需求寫出來即可。數據會自動返回到A/B測試軟件,A/B測試軟件會自動計算實驗的指標。

如果你是手動分析實驗,也需要確認實驗的指標、然后確立用戶的行為。技術開發完埋點后,數據會返回到數據庫,這時我們導出數據進行分析即可。

其次一定要對埋點進行測試。確保我們的數據是可靠的。

最后我們開發上線A/B測試版本即可。

五、分析實驗結果

1. 評估結果的可信度

我們可以把每個版本的訪問數、轉化人數輸入進工具里,工具會幫我們計算統計顯著性。如果有顯著的統計學差異,證明我們的實驗結果是可靠的。

假設我們的對照組的訪問數是1000,轉化數是60;實驗組的訪問數是1000,轉化數是150。當我們把這些信息輸入到工具后,得出此實驗是具備顯著性差異的,說明此實驗的結果是可信的。

2. 關注三類指標

我們要關注之前提到的核心指標、輔助指標以及反向指標。

  • 核心指標:實驗組的核心指標是否比對照組有所提升?
  • 輔助指標:輔助指標的變化是否符合我們的預期,是否和核心指標趨勢一致?
  • 反向指標:是否沒有明顯的負面影響,我們是否可以接受反向指標的變化?

3. 觀測四種狀態

  • 如果實驗組與對照組的指標相比大幅度提升,則實驗組勝利。
  • 如果實驗組與對照組的指標相比小幅度提升,則實驗組勝利。
  • 如果實驗組與對照組的指標相比下降,則對照組勝利。改動后指標不升反而下降這時我們需要去尋找原因,可以通過細分漏斗、用戶分群等方式去排查原因。
  • 如果實驗組與對照組的指標相比變化不明顯,則說明對照組勝利。指標沒變化,我們也就沒有優化的必要了。保持現狀就好。

4. 明確下一步方向

  1. 此實驗的假設取得成功。如果取得成功,我們可以思考是否可以針對這個點進行更多其他的實驗?此實驗的思路能否應用到其它實驗上?
  2. 此實驗假設輕微成功。如果指標只變動了一點點,我們可以進行迭代,直到達到我們滿意的程度。
  3. 此實驗假設失敗。如果沒有達到我們的預期,我們這時要進行反思復盤,我們從這次增長實驗中學到了什么?并且清理好代碼。

六、產出增長報告

根據上面的實驗我們最終可以產出增長報告。增長報告主要記錄實驗的目標、實驗的假設、實驗的分值、實驗的指標、實驗的受眾、實驗的設計、實驗結果、實驗洞察以及后續計劃等內容。這對我們沉淀增長知識、復盤回顧有極大的幫助。

這一期的內容暫時分享到這,后續會繼續更新關于增長的內容,也希望和大家多多交流。

 

作者:付曉虎(小老虎),一名99年創業者對增長的思考,公眾號:小老虎Speak

本文由 @小老虎 原創發布于人人都是產品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 樣本數量是怎么算出來的呀?

    來自北京 回復
    1. 用工具就行,輸入你預計提升的數值和統計顯著性;

      來自廣東 回復