最大化A/B實驗成效:這個方法絕對不能忽視
想象一下,如果能預先知道哪些實驗最成功,并將資源和精力集中于此,會對你的增長效能產生怎樣的影響?本文將告訴你,如何利用ICE模型讓你的每一次實驗都能產生最大的效益。
ICE模型是一種對實驗想法進行優先級排序的綜合評估框架,其目的是幫助我們最大化實驗效果。
ICE三個字母分別代表:影響力(Impact)、成功概率(Confidence)和易實施性(Ease)。
通過對每個實驗想法從這三個維度進行打分,并綜合得到總分,我們就可以對實驗的優先級進行排序。
一、ICE模型定義
1. ICE模型定義媒體
(1)影響力
指的是實驗成功后對關鍵指標的提升程度。主要考慮兩個因素:實驗覆蓋的用戶量以及實驗能夠將指標提升的幅度。
(2)成功概率
取決于是否有充分的數據洞察支持實驗假設。數據來源可以是定量數據、定性數據或行業最佳實踐等。
(3)易實施性
需要考慮上線實驗需要投入的各項成本,如研發資源、設計資源、經濟成本等。我們希望以最低的成本快速驗證實驗假設。
2. 通過ICE模型進行實驗想法評分和排序
針對每個實驗想法,從影響力、成功概率和易實施性三個維度打分,再綜合得到總分。總分越高,代表實驗想法的優先級越高,越值得優先執行。
要注意的是,在做增長實驗想法優先級排序的過程中,不要去盲目的追求精確性。
因為 ICE模型或者其他的一些優先級排序的模型也好,都只是一個參考的框架,不是一個絕對的科學,不需要花太多的時間去追求每個打分的絕對的完美和科學,而是要把重點放在提高實驗頻率和數量上。
二、ICE模型應用案例分析
接下來我們通過一個案例,演示如何利用ICE模型對實驗想法優先級進行排序。
1. 提升新用戶預定成功率的實驗想法
假設我們是一個訂房網站,希望提升新用戶預定房間的成功率,現有以下三個實驗想法:
(1)微信一鍵登錄功能的開發
我們發現很多新用戶在注冊環節就流失了,考慮開發微信一鍵登錄功能以優化注冊流程。
(2)頁面上添加全網最低價保證
通過在頁面上添加全網最低價的標語,降低用戶對價格的顧慮,促進用戶下單。
(3)為熱門房源添加精選標簽
對熱門房源添加醒目的精選標簽,吸引新用戶點擊和下單。這三個實驗想法初看都有一定道理,但資源有限,我們需要決定先做哪個,后做哪個。此時就可以借助ICE模型來評估每個想法的優先級。
2. 訂房網站實驗想法的ICE評分
1)微信一鍵登錄
高影響力、高成功概率、中等易實施性
影響力:9分
微信一鍵登錄可以顯著提升新用戶的注冊轉化,覆蓋幾乎所有新用戶,影響力很大。
成功概率:9分 wsc
微信登錄已是主流APP標配,成功概率非常高。
易實施性:6分
開發微信登錄需要一定的研發資源投入,易實施性中等。
ICE總分:24分
2)全網最低價保證
中等影響力、高成功概率、高易實施性
影響力:7分
全網最低價承諾可以直接影響用戶下單決策,且如果展示在一些高流量頁面比較明顯的位置,那預期的影響會更大,但相比登錄環節影響力略低。
成功概率:9分
價格優勢承諾符合消費者心理,成功概率很高。
易實施性:8分
只需修改頁面文案,易實施性非常高。
ICE總分:24分
(3)精選標簽
中等影響力、中高成功概率、較高易實施性
影響力:6分
精選標簽可以在一定程度上引導用戶選擇,但相比價格承諾,影響力稍弱。
成功概率:7分
競品大多有此做法,但精選效果需要進一步驗證,成功概率中等偏上。
易實施性:7分
技術實現不復雜,但需要一定的數據分析支持,易實施性較高。
ICE總分:20分
從ICE模型打分結果看,微信一鍵登錄和全網最低價的綜合得分最高,達到24分。精選標簽得分相對較低,為20分。
綜合考慮三個維度,全網最低價承諾無論在影響力、成功概率還是易實施性上都有不錯的表現,各項指標均衡,非常值得嘗試。
微信一鍵登錄的影響力和成功概率雖然更高,但實施起來有一定難度。所以我們建議優先嘗試全網最低價,其次是微信一鍵登錄,最后是精選標簽。
增長目標如同瞄準鏡中的靶心,ICE模型可以幫你的AB實驗更精準地命中靶心。
三、提升實驗的預期影響
通過ICE模型,我們可以較為準確地估計每個實驗想法的綜合價值。但在實踐中,我們往往會面臨一個問題:絕大多數實驗的影響力都不夠大。
這主要是因為我們的關注點過于局限在最核心用戶身上,而忽視了更大范圍的用戶群體。比如,一般來說活躍用戶只占所有注冊用戶的 50% 甚至更低,而注冊用戶其實又是遠遠小于存在于外部渠道未注冊人群的。
因此從這個角度來看,增長實驗如果只關心在核心用戶上的話,影響力是受到非常大的局限的。
1. 擴大實驗的用戶覆蓋范圍
那如何提升影響力?最重要的方法,就是是擴大實驗的用戶覆蓋面,不僅要關注核心用戶,更要把眼光放到更廣泛的用戶群體上。
核心用戶雖然是產品的中流砥柱,但在整體用戶中的占比往往不高。我們要主動將視角擴展到活躍用戶、注冊用戶、過客用戶,甚至尚未接觸產品的潛在用戶身上,積極為這些非核心用戶策劃有價值的實驗項目。
比如Airbnb就開發了很多面向非房客用戶的功能,如旅游攻略、社區論壇等,以擴大實驗的觸達面。
2. 利用高流量頁面和路徑進行多次實驗
要想撬動更大的影響力,第二個方法就是鎖定高流量頁面和用戶路徑,在這些關鍵節點上反復實驗,持續優化。因為這些位置聚集著大量用戶,每一次小幅優化帶來的效果提升都會被放大。
舉例,咪咕視頻為了提升APP下載量,針對下載頁反復進行AB測試。最終,相比初始版本,優化后的頁面點擊率提升了56%。可見在高流量頁面上,持之以恒的實驗優化,往往能收獲驚人的效果。
其實平時的工作中就可以有意識的去找各種關鍵路徑,一般來說漏斗上游的路徑,新用戶注冊激活的路徑,購買轉化的路徑等等都是值得去做多輪實驗反復提升的路徑和頁面。
四、提高實驗的成功概率
ICE模型中的C代表成功概率,即實驗達到預期效果的可能性。我們在設計實驗時,一定要盡可能提高成功概率。而這需要扎實的數據洞察作為支撐。
回歸到上一篇文章,講的就是如何從數據中找到足夠有力的洞察和支持,包括各類定量和定性的分析。
定量數據能揭示用戶行為模式,定性數據如用戶反饋則能還原用戶心理。除此之外,競品分析、行業報告等也能為實驗假設提供有價值的參考。唯有將各類數據高度整合,才能真正洞察用戶需求,找到最有可能成功的解決方案。
舉例,如果我們想要測試是否延長訂單支付的有效時間,可以提升訂單支付成功率。
首先可以通過數據分析,觀察不同支付時效下的訂單支付轉化情況。
其次可以收集用戶反饋,了解他們對支付時限的看法。
最后再參考同行業優秀產品的做法,形成完整的決策依據。
五、降低實驗的實施難度
除了影響力和成功概率,易實施性也是評估實驗價值的重要指標。資源總是有限的,我們需要以最小的成本,最快地驗證實驗效果。最好的方法就是通過 MVP 的方式與最低成本去驗證實驗假設。
1. MVP(最小可行產品)策略的應用
MVP的核心思想是用最低成本快速開發原型,盡早與用戶見面,通過獲取用戶反饋來驗證產品假設,進而不斷迭代優化。
這種策略也非常適用于增長實驗的設計。設計增長實驗 MVP 的時候,你要去考慮2個問題:
1)如何用最小資源快速驗證假設
如果實驗假設可以僅通過數據分析就證明或者證偽,那這個其實也是增長實驗的MVP,你甚至不需要去開發這個實驗,只是通過數據就證明或者證偽了,這也是非常好的結果。
如果無法通過數據分析直接驗證,是否有可能不用做完整的版本,而是開發一個小版本,就足以驗證假設是對的還是錯的?
2) MVP實驗是否能提供可信的決策參考
我們需要的是有效的結果和洞察,所以不能把實驗的版本過分簡化,導致最終的結論不完整,無法證實或證偽實驗想法,那這就不是一個可信的增長實驗MVP。
2. 個人化注冊流程的MVP設計案例
實驗假設是不同的用戶畫像需求不同,需要設計個人化的流程可以更好地滿足需求,提升成功注冊轉化率。
針對這樣的實驗假設, 如果貿然開發一整套個性化方案,會發現工程資源投入、設計資源投入、數據資源投入都是非常高的,那增長實驗的容易程度的得分就會非常低。
所以,不妨想辦法把它轉化成一個輕量級MVP。比如只選 25 歲左右的女性,只針對這種人群來做個人化的注冊流程, 然后對該人群進行小流量AB測試,驗證效果。
如此一來實驗資源投入會大大降低,如果提升明顯,再擴大實驗規模。
3. 無限滾屏功能的反面案例
艾奇是美國的一家創意手工電商平臺,他們的產品團隊花了半年時間開發出了無限滾屏功能,上線后發現各項指標非但沒有提升,反而出現下降。整個團隊灰心喪氣,最終只能回滾到老版本。
再來一次的話,他們應該怎么做呢?其實可以通過 MVP 方案測試,比如將原本只展示 50 個商品的頁面,變成展示 100 個,通過這樣的方式去驗證是不是更多的商品能夠提升用戶的購買轉化。
所以,更高效的做法是:先小范圍試錯,觀察數據表現,成功后再迭代,而不是一口氣追求完美 。
從0到1快速驗證,從1到100再反復打磨,這是一條極大提升實驗成功概率和投入產出比的有效途徑。
4. Facebook通過MVP快速驗證實驗假設
事實上,很多優秀的產品在實驗設計上已經形成了一套成熟的方法論。以Facebook的增長實驗流程為例,從想法提出到正式上線,每個階段都經過了縝密的數據驗證:
- 通過各類分析初步驗證想法可行性,排除不靠譜的想法
- 快速開發一個MVP進行小流量AB測試
- 根據實驗結果迭代優化原型
- 擴大實驗流量,進一步驗證效果
- 評估是否達到全量發布的標準
這套流程能最大限度降低實驗風險,確保每一個新功能都能經受住市場檢驗,避免盲目開發。
六、實驗優先級排序的實際應用
介紹了ICE模型的原理和案例之后,我們再來談談在實際工作中應該如何靈活運用這一工具。
1. 不追求評分的絕對精確,重在提高實驗頻率和數量
ICE模型的價值在于為實驗排序提供參考,而不是追求每個維度評分的絕對準確。我們要把更多時間放在提高實驗的頻率和數量上,而不是過度糾結于評分標準本身。
一個月能做10個有價值的實驗,遠比花一個月時間只做1個經過精細評估的實驗更有助于增長。大膽假設,小步快跑,用最短時間完成從想法到數據驗證的閉環,才是實驗的正確打開方式。
2. 形成個性化的排序指標
ICE模型是一個可塑的框架,我們完全可以根據自己的實際情況對評分指標進行調整。比如某些B端產品會格外重視用戶體驗,甚至愿意為此犧牲一些短期的轉化率。這時不妨增加”用戶體驗”作為第四個評分指標,甚至給予更高的權重。
畢竟實驗初衷是為了給用戶帶來價值,如果實驗傷害了用戶利益,再高的指標提升也是南轅北轍。
3. 實驗想法的定期更新和優先級調整
保持實驗想法庫的常青,也是一個增長團隊應該養成的好習慣。每隔一段時間,就要對想法庫進行一次升級迭代,淘汰那些已經過時的想法,補充新的靈感。
同時基于最新的數據分析對實驗優先級進行重新評估,確保我們在每個階段都在優先執行最有價值的實驗,而不是被之前的評分所禁錮。
實驗成功的要義不在于數量,而在于質量。ICE模型作為實驗想法的優先級排序工具,其價值在于能夠幫助我們明確哪些實驗應當優先執行。
記住三個關鍵詞:影響力、成功概率、難易程度。掌握這一模型,意味著在高速變化的互聯網世界中,能夠更快地找到并執行那些最有價值的實驗假設。
本文由 @小黑哥 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。