停止無效實驗,產出高質量實驗假設(下)
市面上大多數關于增長實驗的建議都聚焦于如何執行。但是,真正的秘訣不在于執行,而在于如何識別并停止那些注定無效的實驗。
01 通過多輪數據分析提升假設質量
當你完成了三類數據(定量分析、定量分析、參考最佳實踐)的收集和分析后,如果仍然沒有形成清晰的實驗假設,或者假設過多,可以通過多輪數據分析來提升假設質量。
接下來我們以“社交APP小恩愛注冊轉化率優化”作為案例,詳解去粗留精的優化過程。
1. 分析數據發現問題,形成初步假設
首先第一步通過漏斗數據分析發現,小恩愛APP的注冊流程,第三步資料填寫頁的轉化率非常低。
據此產品運營同學形成了一些初步的假設,比如說是不是資料轉化頁上添加頭像的字體不明顯,或者我要的信息太多了,或者用戶找不到照片上傳,或者上傳照片太慢等等,很多個初步假設。
接下來就要去通過進一步數據分析的方式去篩選這些假設。
2.細查流失用戶路徑,篩選優化假設
第二個動作是細查流失用戶的操作路徑。這個時候就發現了很有意思的現象,在所有流失的用戶里面,有兩個路徑是最常見的:
- 第一,用戶在這個整個過程中沒有找到合適的頭像,數據顯示點擊了添加頭像,然后等了一會兒,但最后也沒有上傳,就走掉了。
- 第二,用戶點了添加頭像,并且上傳了照片,但是怎么都傳不上來
這兩種路徑是比較普遍的路徑。
據此,他們進一步篩選出兩個假設:
- 優化注冊頁面邏輯,頭像上傳改為非必須
- 優化上傳服務,提升上傳速度
最終,經過實驗驗證,這兩個改動使注冊轉化率提升了20%。從這個案例可以看出,多輪數據分析能夠幫助產出高質量的實驗假設。只要以數據分析去尋根問底,驗證假設就能點石成金。
02 產生高質量實驗想法的兩種方法
1. 應用三類數據
(1)定量數據:通過定量數據分析,可以發現具體問題所在。
(2)定性數據:運用定性數據和用戶調研,可以深入理解問題發生的原因。
(3)參考最佳實踐:參考業內最佳實踐,可以獲得問題的解決思路。當然最佳實踐也不是需要盲目的去遵從,還是通過自己的測試和實驗得到最終的結論。
上一篇文章有詳細說明,本文就不贅述了。
2.通過多輪數據分析提升假設質量
如果一輪數據分析沒能找到高質量假設,或假設過多,可以通過多輪分析提升假設質量。
因為我們知道開發一個實驗是非常成本高昂的,如果能通過數據分析的方式排除掉那些不靠譜的實驗,相當于間接的就節省了實驗開發的成本,瞄準高質量假設,顯著提高增長實驗的整體效率。
三、形成清晰的實驗假設
在產生大量想法后,需要將它們整理成清晰的實驗假設。清晰假設應具備以下特征:
1. 清晰實驗假設的特征
(1)明確可衡量
(2)有時間限制
(3)可被證偽
(4)可解釋背后原因
什么是清晰的實驗假設?
舉例:
- “寫公眾號可以帶來新用戶注冊”——這是個清晰的假設嗎?顯然不是,它只是非常虛的一句話。
- “寫公眾號可以帶來 100 個新用戶注冊”——這個會比上面一個強一點,因為它有數字去支持,但是它還是不是特別清晰,因為清晰的實驗假設必須有時間限制,寫公眾號如果等一年可能可以帶來 100 個新用戶注冊,這件事就沒有什么意義了。
- “寫一篇公眾號可以在發表兩周內帶來 100 個信用戶注冊”——這個就已經清晰很多了,有非常明確的可以去衡量的結果。
- “寫一篇關于產品的公眾號長文,可以在發表兩周內帶來 100 個新用戶注冊,因為這篇公號會給大家清晰的介紹產品的價值主張?!?/b>——這就是一個非常清晰的實驗假設,它有非常明確的指標,也時間的限制,同時解釋了背后的原因,且是可以被證偽的,也就是可以根據實際的結果去推翻它。
其實,沒有清晰的假設就直接開干是很多實驗失敗的最常見的原因。
2.實驗假設輸出模板
以上一篇文章中提到的海報設計應用canva優化實驗為例,輸出假設建議采用以下模板:
(1)做什么具體改動:可以設計個人化的海報新用戶引導流程
(2)預計某指標提升百分比:預計海報功能新用戶激活率可以提升10%
(3)深層原因是什么:當人們通過海報功能找到canva,他們想要很快的完成設計,如果沒有找到合適的模板,就很容易流失掉
(4)有數據支持的假設:使用海報功能是最多的,但是很多用戶開始使用海報功能之后沒有完成就流失掉了
這一模板能幫助清晰記錄假設內容、預期效果、原因解釋和支持證據。
04 應對產生實驗想法時的兩種情況
在產生實驗想法時,可能遇到兩種極端情況,需要采取不同應對策略。
1.沒有想法時,通過群組討論快速產生想法
面對實驗目標沒有任何想法時,可采用以下方式快速集思廣益:
(1)頭腦風暴:通過群組討論的方式,所有人各抒己見,集中提想法且不做評判和回答,只做記錄,事后再評估篩選想法。
(2)閃電Demo:每個人快速的拿幾個競品和非競品來給整個團隊進行Demo演示,并共同從中找到可借鑒的點子。
(3)設計沖刺:帶領團隊在5天內高效的解決設計問題,并且測試想法是否奏效。
2.想法過多時,通過實驗想法庫管理
群組討論后若想法過多,可建立實驗想法庫進行管理:將每個人的假設和想法集中記錄在同一個表格中,excel想法庫也可以為后續尋找實驗靈感提供豐富素材。
最后總結一下,精準的數據分析、清晰的假設構建、有效的假設驗證——這三個步驟是落地高質量實驗假設的關鍵。相信你掌握了這一流程后,增長實驗的貢獻效率將大大提升。
本文由 @小黑哥 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!