停止無效實驗,產出高質量實驗假設(下)

0 評論 1150 瀏覽 3 收藏 9 分鐘

市面上大多數關于增長實驗的建議都聚焦于如何執行。但是,真正的秘訣不在于執行,而在于如何識別并停止那些注定無效的實驗。

01 通過多輪數據分析提升假設質量

當你完成了三類數據(定量分析、定量分析、參考最佳實踐)的收集和分析后,如果仍然沒有形成清晰的實驗假設,或者假設過多,可以通過多輪數據分析來提升假設質量。

接下來我們以“社交APP小恩愛注冊轉化率優化”作為案例,詳解去粗留精的優化過程。

1. 分析數據發現問題,形成初步假設

首先第一步通過漏斗數據分析發現,小恩愛APP的注冊流程,第三步資料填寫頁的轉化率非常低。

據此產品運營同學形成了一些初步的假設,比如說是不是資料轉化頁上添加頭像的字體不明顯,或者我要的信息太多了,或者用戶找不到照片上傳,或者上傳照片太慢等等,很多個初步假設。

接下來就要去通過進一步數據分析的方式去篩選這些假設。

2.細查流失用戶路徑,篩選優化假設

第二個動作是細查流失用戶的操作路徑。這個時候就發現了很有意思的現象,在所有流失的用戶里面,有兩個路徑是最常見的:

  • 第一,用戶在這個整個過程中沒有找到合適的頭像,數據顯示點擊了添加頭像,然后等了一會兒,但最后也沒有上傳,就走掉了。
  • 第二,用戶點了添加頭像,并且上傳了照片,但是怎么都傳不上來

這兩種路徑是比較普遍的路徑。

據此,他們進一步篩選出兩個假設:

  • 優化注冊頁面邏輯,頭像上傳改為非必須
  • 優化上傳服務,提升上傳速度

最終,經過實驗驗證,這兩個改動使注冊轉化率提升了20%。從這個案例可以看出,多輪數據分析能夠幫助產出高質量的實驗假設。只要以數據分析去尋根問底,驗證假設就能點石成金。

02 產生高質量實驗想法的兩種方法

1. 應用三類數據

(1)定量數據:通過定量數據分析,可以發現具體問題所在。

(2)定性數據:運用定性數據和用戶調研,可以深入理解問題發生的原因。

(3)參考最佳實踐:參考業內最佳實踐,可以獲得問題的解決思路。當然最佳實踐也不是需要盲目的去遵從,還是通過自己的測試和實驗得到最終的結論。

上一篇文章有詳細說明,本文就不贅述了。

2.通過多輪數據分析提升假設質量

如果一輪數據分析沒能找到高質量假設,或假設過多,可以通過多輪分析提升假設質量。

因為我們知道開發一個實驗是非常成本高昂的,如果能通過數據分析的方式排除掉那些不靠譜的實驗,相當于間接的就節省了實驗開發的成本,瞄準高質量假設,顯著提高增長實驗的整體效率。

三、形成清晰的實驗假設

在產生大量想法后,需要將它們整理成清晰的實驗假設。清晰假設應具備以下特征:

1. 清晰實驗假設的特征

(1)明確可衡量

(2)有時間限制

(3)可被證偽

(4)可解釋背后原因

什么是清晰的實驗假設?

舉例:

  • “寫公眾號可以帶來新用戶注冊”——這是個清晰的假設嗎?顯然不是,它只是非常虛的一句話。
  • “寫公眾號可以帶來 100 個新用戶注冊”——這個會比上面一個強一點,因為它有數字去支持,但是它還是不是特別清晰,因為清晰的實驗假設必須有時間限制,寫公眾號如果等一年可能可以帶來 100 個新用戶注冊,這件事就沒有什么意義了。
  • “寫一篇公眾號可以在發表兩周內帶來 100 個信用戶注冊”——這個就已經清晰很多了,有非常明確的可以去衡量的結果。
  • “寫一篇關于產品的公眾號長文,可以在發表兩周內帶來 100 個新用戶注冊,因為這篇公號會給大家清晰的介紹產品的價值主張?!?/b>——這就是一個非常清晰的實驗假設,它有非常明確的指標,也時間的限制,同時解釋了背后的原因,且是可以被證偽的,也就是可以根據實際的結果去推翻它。

其實,沒有清晰的假設就直接開干是很多實驗失敗的最常見的原因。

2.實驗假設輸出模板

以上一篇文章中提到的海報設計應用canva優化實驗為例,輸出假設建議采用以下模板:

(1)做什么具體改動:可以設計個人化的海報新用戶引導流程

(2)預計某指標提升百分比:預計海報功能新用戶激活率可以提升10%

(3)深層原因是什么:當人們通過海報功能找到canva,他們想要很快的完成設計,如果沒有找到合適的模板,就很容易流失掉

(4)有數據支持的假設:使用海報功能是最多的,但是很多用戶開始使用海報功能之后沒有完成就流失掉了

這一模板能幫助清晰記錄假設內容、預期效果、原因解釋和支持證據。

04 應對產生實驗想法時的兩種情況

在產生實驗想法時,可能遇到兩種極端情況,需要采取不同應對策略。

1.沒有想法時,通過群組討論快速產生想法

面對實驗目標沒有任何想法時,可采用以下方式快速集思廣益:

(1)頭腦風暴:通過群組討論的方式,所有人各抒己見,集中提想法且不做評判和回答,只做記錄,事后再評估篩選想法。

(2)閃電Demo:每個人快速的拿幾個競品和非競品來給整個團隊進行Demo演示,并共同從中找到可借鑒的點子。

(3)設計沖刺:帶領團隊在5天內高效的解決設計問題,并且測試想法是否奏效。

2.想法過多時,通過實驗想法庫管理

群組討論后若想法過多,可建立實驗想法庫進行管理:將每個人的假設和想法集中記錄在同一個表格中,excel想法庫也可以為后續尋找實驗靈感提供豐富素材。

最后總結一下,精準的數據分析、清晰的假設構建、有效的假設驗證——這三個步驟是落地高質量實驗假設的關鍵。相信你掌握了這一流程后,增長實驗的貢獻效率將大大提升。

本文由 @小黑哥 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
03-076003 瀏覽
38大促,流量火拼
07-192511 瀏覽
2023,消失的網紅餐飲
09-122885 瀏覽
分頁加載VS無限加載
06-0221210 瀏覽
玩轉用戶旅程地圖
評論
評論請登錄
  1. 目前還沒評論,等你發揮!