起點課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個人IP打造特權(quán)
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業(yè)技能直播
會員專屬社群
榮耀標識優(yōu)秀產(chǎn)品人必懂的增長策略設(shè)計模型
大多數(shù)產(chǎn)品人都是通過增長實驗來完成用戶及產(chǎn)品的增長。什么是增長實驗？它的正確設(shè)計模型又是什么呢？本文將會告訴你答案。
在增長工作中，大家常會通過增長實驗來確定增長策略的有效性和影響范圍。而設(shè)計增長實驗時常會遇到一些坑。比如：
- 沒有定義正確的實驗指標，實驗上線后無法決定實驗成功還是失敗。
- 對于實驗?zāi)繕擞脩魶]有清晰的認識，導致實驗上線后，分析了很久都得不出結(jié)論。
- 流量劃分不均勻隨機，導致實驗結(jié)果出現(xiàn)偏頗，數(shù)據(jù)不可信。
本文將通過以下三小節(jié)的內(nèi)容來簡單分享下如何避免以上這些常見的問題。
一、制定實驗指標
正確的實驗指標能夠全面準確地檢驗實驗假設(shè)的真?zhèn)?，從而衡量實驗結(jié)果的成敗。
衡量實驗成敗，主要可以分為三類指標：
1. 核心指標
核心指標是決定實驗成敗的關(guān)鍵指標，該指標是后期實驗數(shù)據(jù)進行統(tǒng)計顯著計算的關(guān)鍵。核心指標確定的前提是實驗最終目標的確立。根據(jù)該實驗?zāi)繕伺袛嘞胍绊懙闹笜耸悄囊粋€。是否可以通過這個指標確定實驗組的改動是成功的。
2. 輔助指標
輔助指標是實驗可能影響到的其他重要指標，通過這些重要指標可以全面了解實驗結(jié)果。常見的輔助指標如漏斗細分步驟的各節(jié)點轉(zhuǎn)化率，可以通過這些轉(zhuǎn)化率更全面的了解實驗改動對整個漏斗的影響。
3. 反向指標
反向指標是提示實驗可能出現(xiàn)的負面影響。通過反向指標的高低來判斷實驗結(jié)果是否成功。如果實驗沒有負面影響或負面影響較小，可以接受，才能宣布實驗成功。如果負面影響很大，可以否決實驗的正向結(jié)果。
常見的反向指標如頁面退出率，訂單取消率，Push退訂率，應(yīng)用刪除率等。
二、確定實驗對象
在確定了實驗?zāi)繕撕筮M入了增長實驗設(shè)計的第二步，確定實驗對象。這一步驟主要解決實驗對象的包含范圍和實驗所需的樣本數(shù)量。
1. 確定實驗對象的包含范圍
如果所設(shè)計的增長實驗希望所有用戶都進入該實驗范圍，那則不需要這一步。如果希望僅有符合特定條件的用戶才可進入實驗范圍，則需要設(shè)置實驗對象范圍。通過此設(shè)置可針對特定用戶群組進行實驗，幫助生成更精細的產(chǎn)品優(yōu)化方案。通常設(shè)置實驗對象范圍類型可通過第三方A/B測試工具自帶分組來設(shè)置。
設(shè)置實驗受眾可以通過一些第三方A/B測試工具來完成。
很多第三方的測試協(xié)助工具都會有默認受眾分組，比如：操作系統(tǒng)，瀏覽器類型，設(shè)備類型，應(yīng)用版本等等。
我們也可以自定義受眾分組，比如：
- 注冊15天內(nèi)的新用戶
- 來自一線城市的用戶
- 某個興趣標簽的用戶
- 來自某個渠道的用戶
2. 預估實驗所需的樣本數(shù)量
首先我們先來看一個案例，某公司想通過改變按鈕顏色提高“下單”按鈕的點擊率。
在實驗上線2小時后，進行了一次數(shù)據(jù)統(tǒng)計：
- 藍色按鈕的頁面訪問量是60次，按鈕點擊次數(shù)為15次，轉(zhuǎn)化率為25%。
- 紅色按鈕的頁面訪問量是56次，按鈕點擊次數(shù)為7次，轉(zhuǎn)化率為12.5%。
- 那么這時候，是否可以得到藍色按鈕比紅色按鈕的轉(zhuǎn)化率更高呢？相信大多數(shù)的產(chǎn)品人都會認為樣本數(shù)太小，不能得出可信的結(jié)論。
在實驗上線2天后，再進行了一次數(shù)據(jù)統(tǒng)計：
- 藍色按鈕的頁面訪問量是6238次，按鈕點擊次數(shù)為368次，轉(zhuǎn)化率為5.9%。
- 紅色按鈕的頁面訪問量是6122次，按鈕點擊次數(shù)為588次，轉(zhuǎn)化率為9.6%。
- 那么此時，是否能確定紅色按鈕是否效果更好呢？但樣本數(shù)量是否可信呢?
在實驗上線1年后，又進行了一次數(shù)據(jù)統(tǒng)計：
- 藍色按鈕的頁面訪問量是132892次，按鈕點擊次數(shù)為6110次，轉(zhuǎn)化率為4.6%。
- 紅色按鈕的頁面訪問量是140021次，按鈕點擊次數(shù)為9641次，轉(zhuǎn)化率為7.5%。
- 那么此時，是否就可以非常的肯定的說紅色按鈕較藍色按鈕的轉(zhuǎn)化率更好?
通過上述案例可發(fā)現(xiàn)從結(jié)果可靠性的角度看，樣本量越大，實驗時間越長，實驗結(jié)果則越可靠。
但從實際工作的成本角度出發(fā)，樣本量越小，實驗時間越短，實驗的試錯成本就越小，實驗迭代速度也越快。
因此在保障實驗結(jié)果可靠性的同時又盡可能最小化樣本量，不會浪費過多的實驗時間顯得至關(guān)重要。我們可以通過對增長實驗結(jié)果進行統(tǒng)計顯著性檢驗找到這個平衡點。
統(tǒng)計顯著性（Statistical significance）：是指零假設(shè)為真的情況下拒絕零假設(shè)所要承擔的風險水平，又叫概率水平，或者顯著水平。在增長實驗中是指對照組和實驗組之間轉(zhuǎn)化率差異的真實水平程度。
如：對比對照組和實驗組的某個實驗指標發(fā)現(xiàn)轉(zhuǎn)化率有差別，而統(tǒng)計顯著性為90%。則代表造成差別中有90%的可能性是真實存在的。而10%的可能性是隨機誤差引起的。
當統(tǒng)計顯著性越高，則隨機誤差的可能性就越低，得到的結(jié)果就越可靠。我們可通過確認結(jié)果統(tǒng)計性顯著所需的最小樣本數(shù)來預估實驗所需樣本數(shù)量。
影響實驗所需樣本數(shù)量的因素主要有三個：
- 原版本的轉(zhuǎn)化率：如原版本的轉(zhuǎn)化率越低，則實驗所需要的樣本數(shù)量越大。
- 新版本的轉(zhuǎn)化率：如果新版本和原版本的轉(zhuǎn)化率差別越小，則檢測所需的敏感度越高，實驗所需要的樣本數(shù)量越大。
- 統(tǒng)計顯著性要求：統(tǒng)計顯著性要求越高，對結(jié)果的需求越確定，則實驗所需要的樣本數(shù)量越大。建議一般情況統(tǒng)計顯著性要求至少為95%。
我們繼續(xù)剛才的案例。假設(shè)原版本，也就是藍色按鈕的點擊轉(zhuǎn)化率為10%，而預計改為紅色后，點擊轉(zhuǎn)化率為12%，我們通過第三方A/B測試樣本計算器工具，在統(tǒng)計顯著設(shè)置為95%的情況下，預估出實驗所需要的樣本數(shù)量為2900。我們預估每天的的頁面訪問數(shù)為500。而這個實驗一共存在紅色按鈕和藍色按鈕兩個實驗樣本，則樣本總數(shù)為5800，所以需要的實驗時長是12天。
三、設(shè)計實驗版本
在完成了確定實驗指標和實驗對象后，就可以開始設(shè)計實驗版本了。在設(shè)計實驗版本時，需要思考實驗組相比對照組都做了哪些改動。確定實驗版本數(shù)量，版本之間的關(guān)聯(lián)和區(qū)別是什么。實驗受眾的流量在實驗版本之間如何分配。
實驗版本的數(shù)量和區(qū)別可以通過以下三個方面來確定：
- 版本數(shù)量取決于實驗假設(shè)的數(shù)量，只選擇高質(zhì)量的實驗假設(shè)。
- 明確實驗類型，是優(yōu)化型實驗還是探索型實驗。優(yōu)化型實驗：每個版本只改變單一變量，明確改動的影響。探索型實驗：可以同時改變多個變量，設(shè)計全新的實驗版本。
- 版本數(shù)量越大，則需要的總樣本數(shù)量越大。
實驗受眾的流量在實驗版本之間分配原則是保證每個實驗版本的樣本分流均勻隨機。樣本分流是否均勻隨機，會極大影響實驗結(jié)果的可信性。均勻隨機的樣本分流可消除一切外在因素的影響。保證對照組和實驗組唯一區(qū)別就是實驗改動。
樣本科學分流是A/B測試工具的重要功能之一，需要達到以下四個標準：
- 均勻性：確保分流樣本各個維度分配比例均勻，且分布隨機。
- 唯一性：通過精準高效的算法，確保單個用戶每次登錄產(chǎn)品時被分配到的實驗版本是唯一的。
- 定向性：可根據(jù)樣本標簽來實現(xiàn)精準的定向分流。
- 分層分流：可以滿足并進行大量A/B實驗測試需求。
四、增長實驗案例
這里通過一個虛擬的案例來簡單分享一下如何設(shè)計一個增長實驗。
假設(shè)你現(xiàn)在需要設(shè)計一個增長策略方案，來提高keep的用戶的關(guān)注轉(zhuǎn)化率。
1. 實驗想法
1）實驗?zāi)繕?/strong>
提升用戶對其他用戶的關(guān)注率。
2）實現(xiàn)想法
通過最佳實踐（微博案例），可得出實驗想法一：落地頁的發(fā)現(xiàn)頁簽下信息流中每個用戶的動態(tài)cell，如未關(guān)注，則顯示【關(guān)注】按鈕。增加關(guān)注功能曝光量，可提升用戶的關(guān)注點擊率。
根據(jù)用戶行為路徑，收集用戶行為數(shù)據(jù)：
- 關(guān)注行為在收藏行為的占比。即：用戶同時關(guān)注博主并收藏博主動態(tài)占用戶收藏動態(tài)的比例。
- 關(guān)注行為在點贊行為的占比。即：用戶同時關(guān)注博主并點贊博主動態(tài)占用戶點贊動態(tài)的比例。
通過數(shù)據(jù)定量分析發(fā)現(xiàn)，用戶點贊和收藏行為與用戶關(guān)注博主行為相關(guān)性較大。
因而得出實驗假設(shè)：在動態(tài)詳情頁中，首次觸發(fā)對該用戶的簡單社交行為(點贊，收藏)時，如未關(guān)注用戶時，調(diào)起彈框引導用戶關(guān)注發(fā)布者?！娟P(guān)注該用戶，及時獲得TA的最新動態(tài)?！俊戈P(guān)注」「取消」。
3）實驗假設(shè)
基于以上實驗想法分析，得出以下假設(shè)：
- 假設(shè)一：落地頁的發(fā)現(xiàn)頁簽下信息流中每個用戶的動態(tài)，如未關(guān)注該用戶，則顯示【關(guān)注】按鈕。增大關(guān)注功能曝光量，預計關(guān)注點擊率提升到10%。因為增大功能曝光量，當用戶對該博主感興趣時，可更便捷的關(guān)注該博主。
- 假設(shè)二：動態(tài)詳情頁中，首次觸發(fā)對該用戶的簡單社交行為(點贊，收藏)時，調(diào)起彈框引導用戶關(guān)注發(fā)布者。預計關(guān)注點擊率提升到6%。因為點贊或收藏內(nèi)容，表示用戶對該博主的內(nèi)容的感興趣并認可該博主。降低兩者之間的社會認知差異。更容易接受關(guān)注該博主的行為。
2. 優(yōu)先級排序
通過ICE優(yōu)先級模型，得到優(yōu)先級結(jié)論：推薦動態(tài)頁-增加關(guān)注按鈕的綜合得分最高。
3. 實驗設(shè)計
實驗假設(shè)：如果在動態(tài)詳情頁，如果用戶在內(nèi)容上停留5秒以上，“關(guān)注”按鈕變亮變大，提示用戶可以關(guān)注此博主，關(guān)注率預計可提升至6%，因為用戶閱讀每條動態(tài)內(nèi)容的是平均時長為10秒，閱讀5秒以上，表示用戶對該內(nèi)容感興趣，此時突出關(guān)注按鈕，更容易誘發(fā)用戶完成關(guān)注博主的動作。
1）制定實驗指標
- 核心指標：動態(tài)詳情頁的關(guān)注按鈕的點擊率
- 反向指標：用戶取關(guān)率。因提高了用戶關(guān)注按鈕的曝光聚集度，造成用戶體驗降低，致使用戶執(zhí)行取關(guān)操作。
- 輔助指標：動態(tài)詳情頁的平均閱讀時長。動態(tài)詳情的訪問UV和PV。動態(tài)詳情頁的點贊率，收藏率，評論按鈕點擊率。日人均關(guān)注博主數(shù)。如：用戶在內(nèi)容閱讀5秒后，受到關(guān)注按鈕的動效提醒效果的影響，可能會影響用戶的內(nèi)容閱讀體驗，內(nèi)容閱讀體驗的最直觀的反應(yīng)指標為內(nèi)容閱讀平均閱讀時長。動態(tài)詳情的訪問UV和PV是否下降會直接反應(yīng)出在詳情頁修改關(guān)注按鈕交互效果后，對用戶再次進入該頁面是否產(chǎn)生阻力。在動態(tài)詳情頁中，關(guān)注按鈕點擊率的改變可能會影響動態(tài)的社交類行為如點贊，收藏，評論，關(guān)注的觸發(fā)概率。
2）確定實驗對象
實驗對象范圍：根據(jù)用戶行為路徑，該實驗對象訪問內(nèi)容詳情頁且停留時間2秒以上的用戶群體。
原因：
- 實驗對象為對內(nèi)容詳情頁的關(guān)注按鈕。因而用戶需訪問內(nèi)容詳情頁。
- 因?qū)嶒灲M需對用戶在內(nèi)容詳情頁的停留時長做邊際限制，最短2秒，因而停留時間2秒以上為受眾用戶行為特征范圍。
3）設(shè)計實驗版本
- 對照組：保持原有產(chǎn)品交互設(shè)計不變，即用戶在動態(tài)詳情頁面閱讀停留5秒以上，關(guān)注按鈕無變化。
- 實驗組A：用戶在動態(tài)詳情頁面閱讀停留5秒時，關(guān)注按鈕發(fā)生變大變亮的漸進動效，時間為2秒。設(shè)計原因：考察提高關(guān)注按鈕曝光獲取是否會提高用戶的關(guān)注點擊率。
- 實驗組B：用戶在動態(tài)詳情頁面閱讀停留2秒時，關(guān)注按鈕發(fā)生變大變亮的閃爍動效，時間為2秒。設(shè)計原因：考察用戶對內(nèi)容的閱讀時長的高低是否影響用戶的關(guān)注點擊率。
通過第三方工具，比如云眼計算樣本數(shù)量，可以得到以下結(jié)論：
- 當前內(nèi)容詳情頁的關(guān)注按鈕的點擊率是5%。內(nèi)容詳情頁每天的平均訪問量是10000人。假設(shè)滿足在內(nèi)容詳情頁停留2秒以上的用戶占50%，即5000人。
- 如目標點擊率提升到6%，每個實驗版本的樣本量是6900；三個實驗的樣本量為6900×3 = 20700。預估實驗周期為4~5個自然日（20700 ÷ 5000 ≈ 4.14）。
- 如目標點擊率提升到5.5%，每個實驗版本的樣本量是31000；三個實驗的樣本量為31000×3 = 93000。預估實驗周期為18~19個自然日（93000 ÷ 5000 ≈ 18.6）。
#專欄作家#
楊三季，微信公眾號：楊三季，人人都是產(chǎn)品經(jīng)理專欄作家。7年互聯(lián)網(wǎng)經(jīng)驗的高級產(chǎn)品官，深耕內(nèi)容電商，互聯(lián)網(wǎng)保險領(lǐng)域，擅長產(chǎn)品增長、數(shù)據(jù)分析、中臺架構(gòu)等內(nèi)容。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載
題圖來自 Unsplash，基于 CC0 協(xié)議
大神，可否加個微信交流
什么課程，求分享
這里面的東西就是增長黑客的內(nèi)容，別人的課程也全是摘抄這里的
一個小問題請教一下～實驗產(chǎn)生的結(jié)果真的是因為按鈕的顏色的改變而導致轉(zhuǎn)化率的嗎？其他場景變量多嗎？如果這個基礎(chǔ)不成立，樣本量的大小是否也不能得出可信的結(jié)論呢～當樣本量變大時，其他因子的影響程度也在隨之變大，怎么排除其他因子的影響評估出最大的樣本量確實是因為按鈕的變化導致的轉(zhuǎn)化率呢？～
為了排除其他因素的干擾，在分流樣本的時候采取均勻隨機分流
實用
感謝分享，
案例涉及到的實驗假設(shè)和優(yōu)先級排列的相關(guān)內(nèi)容，可以參考我的另一篇《優(yōu)秀產(chǎn)品人必懂的增長實驗流程》的內(nèi)容。