中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

完美的增長(zhǎng)實(shí)驗(yàn)從來不是靈光乍現(xiàn)，一蹴而就，它背后往往有著合理的方法論和可落地的實(shí)驗(yàn)設(shè)計(jì)步驟，以嚴(yán)謹(jǐn)科學(xué)的姿態(tài)，檢驗(yàn)一次增長(zhǎng)的可能。

聰明的增長(zhǎng)人，在一個(gè)閃著靈光的黑夜里，預(yù)想著通過這一次微小而巧妙的調(diào)整，數(shù)據(jù)發(fā)生了意料之中的顯著變化，無數(shù)次迭代后，交上了令人側(cè)目的增長(zhǎng)成果。

然而，現(xiàn)實(shí)卻是，看一眼玻璃窗上自己的倒影，感嘆下越來越稀薄的發(fā)量，抿一口咖啡，苦惱著下面的難題：

• 實(shí)驗(yàn)想法“靠天吃飯”，來源不穩(wěn)定，沒有依據(jù)；
• 又要靠直覺來決定先做什么；
• 實(shí)驗(yàn)做完發(fā)現(xiàn)數(shù)據(jù)收集的不夠，無法分析，需要返工，迎來了大量吐槽；
• 實(shí)驗(yàn)成功，但是沒能最大化實(shí)驗(yàn)結(jié)果。

那么，理想的狀態(tài)應(yīng)該是什么呢？

按照優(yōu)秀增長(zhǎng)人的表現(xiàn)來看，理想的狀態(tài)應(yīng)該是這樣的：

• 有成型的方法和思路去持續(xù)產(chǎn)生高質(zhì)量的實(shí)驗(yàn)想法
• 通過實(shí)驗(yàn)想法科學(xué)排列優(yōu)先級(jí)，永遠(yuǎn)專注于效果最大化的事情
• 能夠準(zhǔn)確定義出實(shí)驗(yàn)指標(biāo)，考慮到所有重要因素，從而得出可信結(jié)果
• 有詳細(xì)的實(shí)驗(yàn)設(shè)計(jì)和開發(fā)文檔，和清晰的實(shí)驗(yàn)流程，從而保證質(zhì)量和效率
• 不僅了解實(shí)驗(yàn)的成敗，還能分析背后的原因，放大洞察和影響

聽起來非常美好，那么該如何實(shí)操呢？

具體來說，我們可以根據(jù)以下步驟完成一次完美的增長(zhǎng)黑客實(shí)驗(yàn)設(shè)計(jì)：

• 針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)，產(chǎn)生實(shí)驗(yàn)假設(shè)
• 按照ICE模型對(duì)實(shí)驗(yàn)想法進(jìn)行優(yōu)先級(jí)排序
• 設(shè)計(jì)、完成增長(zhǎng)實(shí)驗(yàn)并撰寫報(bào)告：包括實(shí)驗(yàn)的目標(biāo)、假設(shè)、打分、指標(biāo)、受眾、設(shè)計(jì)、結(jié)果、洞察、計(jì)劃

以一個(gè)很火爆的健身App——keep為例，我們?cè)敿?xì)看一下每一步的具體產(chǎn)出和思考的方法

01 針對(duì)實(shí)驗(yàn)?zāi)繕?biāo)，產(chǎn)生實(shí)驗(yàn)假設(shè)

1. 實(shí)驗(yàn)?zāi)繕?biāo)

當(dāng)前的工作重點(diǎn)是，提升用戶對(duì)其他用戶的“關(guān)注”率，即讓更多的用戶“關(guān)注”他們喜歡的達(dá)人，從而一方面提升內(nèi)容質(zhì)量體驗(yàn)，一方面給分享內(nèi)容的用戶以激勵(lì)，長(zhǎng)期促進(jìn)平臺(tái)用戶的活躍程度和互動(dòng)。

確定實(shí)驗(yàn)?zāi)繕?biāo)的方法：一般實(shí)驗(yàn)?zāi)繕?biāo)來自于上級(jí)領(lǐng)導(dǎo)，也可以是自己根據(jù)北極星目標(biāo)進(jìn)行拆解得到的，可以圍繞自己的KPI提出。

2. 實(shí)驗(yàn)假設(shè)

提出實(shí)驗(yàn)假設(shè)的方法：圍繞實(shí)驗(yàn)?zāi)繕?biāo)，梳理用戶使用路徑，分析相關(guān)的數(shù)據(jù)，結(jié)合最佳實(shí)踐，發(fā)現(xiàn)可能的增長(zhǎng)點(diǎn)，提出具體的實(shí)驗(yàn)假設(shè)。

02 對(duì)實(shí)驗(yàn)想法進(jìn)行優(yōu)先級(jí)排序（按照ICE模型打分）

ICE各項(xiàng)指標(biāo)打分的依據(jù)如下：

根據(jù)三個(gè)實(shí)驗(yàn)的綜合得分，可以確定評(píng)分最高的第三個(gè)實(shí)驗(yàn)“關(guān)注按鈕醒目”，是值得優(yōu)先進(jìn)行的實(shí)驗(yàn)。

確定實(shí)驗(yàn)想法、實(shí)驗(yàn)假設(shè)后，需要選取實(shí)驗(yàn)指標(biāo)、確定實(shí)驗(yàn)的受眾、實(shí)驗(yàn)需要的樣本數(shù)量、實(shí)驗(yàn)變量如何作用于樣本，并將實(shí)驗(yàn)設(shè)計(jì)寫成文檔，提給工程師（實(shí)驗(yàn)設(shè)計(jì)文檔，也就是下面實(shí)驗(yàn)報(bào)告中的實(shí)驗(yàn)?zāi)繕?biāo)、實(shí)驗(yàn)假設(shè)、實(shí)驗(yàn)打分、實(shí)驗(yàn)指標(biāo)、實(shí)驗(yàn)受眾和實(shí)驗(yàn)設(shè)計(jì)幾部分）。

在一段時(shí)間后，收集到了足夠多的數(shù)據(jù)，就可以進(jìn)行檢驗(yàn)，得到實(shí)驗(yàn)結(jié)果，驗(yàn)證或者推翻原有的假設(shè)，并根據(jù)實(shí)驗(yàn)結(jié)果制定下一步的計(jì)劃（即完成下面實(shí)驗(yàn)報(bào)告的實(shí)驗(yàn)結(jié)果、實(shí)驗(yàn)洞察、后續(xù)動(dòng)作部分）。

03 增長(zhǎng)實(shí)驗(yàn)報(bào)告

1. 實(shí)驗(yàn)?zāi)繕?biāo)

提升用戶對(duì)其他用戶的“關(guān)注”率

2. 實(shí)驗(yàn)假設(shè)

在用戶帖子頁面，如果用戶在某個(gè)文章或動(dòng)態(tài)上停留5秒以上，“關(guān)注”按鈕變亮變大，提示用戶可以關(guān)注此博主，可以提高關(guān)注率。預(yù)期這一改動(dòng)可以將帖子頁關(guān)注按鈕的點(diǎn)擊率從當(dāng)前的5%提升到6%。

3. 實(shí)驗(yàn)打分

4. 實(shí)驗(yàn)指標(biāo)

5. 實(shí)驗(yàn)受眾

全部用戶。

因?yàn)殛P(guān)注功能是面向所有用戶的功能，不是為某一特定用戶群開發(fā)的，同時(shí)也希望所有的用戶都積極關(guān)注其他用戶，提高內(nèi)容體驗(yàn)，同時(shí)給生產(chǎn)內(nèi)容的用戶激勵(lì)。

6. 實(shí)驗(yàn)設(shè)計(jì)

（1）版本及流量設(shè)計(jì)

版本設(shè)置的原因：該實(shí)驗(yàn)是優(yōu)化實(shí)驗(yàn)，我們只需要驗(yàn)證一個(gè)假設(shè)，所以只需要設(shè)計(jì)一個(gè)實(shí)驗(yàn)組。流量在對(duì)照組和實(shí)驗(yàn)組間均勻分流，保證兩組的唯一區(qū)別是實(shí)驗(yàn)改動(dòng)，這樣才能進(jìn)行后續(xù)的推斷統(tǒng)計(jì)。

（2）實(shí)驗(yàn)流量分配及時(shí)長(zhǎng)（點(diǎn)擊率與訪問量為虛擬數(shù)據(jù)）

如果預(yù)期能夠?qū)⑻禹撽P(guān)注按鈕的點(diǎn)擊率從5%提升到6%，同時(shí)已知帖子頁每天的訪問量是10000。

流量分配：實(shí)驗(yàn)組每天分配5000流量，對(duì)照組每天分配5000流量

實(shí)驗(yàn)時(shí)長(zhǎng)：當(dāng)產(chǎn)生預(yù)期中的變化時(shí)，至少需要2天的訪問量，可以達(dá)到統(tǒng)計(jì)顯著性。同時(shí)考慮到用戶的使用頻率，2天只包含了大部分的高頻用戶，和很少的中頻及低頻用戶，并不能代表全部的用戶，所以需要將實(shí)驗(yàn)時(shí)長(zhǎng)設(shè)置為14天，盡可能地包含所有類型的用戶。

計(jì)算方法：通過網(wǎng)頁計(jì)算工具，設(shè)置現(xiàn)有轉(zhuǎn)化率為5%，預(yù)期提高1%，P值為0.05（95%的統(tǒng)計(jì)顯著性），統(tǒng)計(jì)功效80%，可以得到，每組最少需要的樣本量為7663，所以需要的時(shí)間為（7663/5000）=1.53天，所以當(dāng)實(shí)驗(yàn)時(shí)長(zhǎng)不少于2天時(shí)，就能保證監(jiān)測(cè)到的預(yù)期大小的變化不是由隨機(jī)因素引起的。

計(jì)算樣本量工具網(wǎng)址：https://www.evanmiller.org/ab-testing/sample-size.html

7. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)時(shí)長(zhǎng)=14天時(shí)，數(shù)據(jù)如下：

對(duì)關(guān)注點(diǎn)擊率進(jìn)行卡方檢驗(yàn)，得到如下結(jié)果：

（1）該數(shù)據(jù)可信，因?yàn)橛^察的時(shí)間足夠長(zhǎng)，避免了功能變化產(chǎn)生的新奇效應(yīng)，同時(shí)該keep是使用頻次較高的應(yīng)用，14天的時(shí)間已經(jīng)能夠覆蓋到足夠廣泛的用戶了。

（2）實(shí)驗(yàn)成功

1. 實(shí)驗(yàn)組的帖子頁面“關(guān)注”點(diǎn)擊率顯著高于對(duì)照組。說明實(shí)驗(yàn)組的設(shè)置，在95%的可能下，至少可以把帖子頁面“關(guān)注”點(diǎn)擊率提升0.7%。
2. 帖子頁面點(diǎn)贊率也有顯著提升，至少上升了0.1%，說明確實(shí)幫用戶找到了更感興趣的帖子，提高了內(nèi)容體驗(yàn)。
3. 反向指標(biāo)取關(guān)率雖然也有顯著上升(p<0.05)，但僅上升了0.1%，在可以接受的范圍。

8. 實(shí)驗(yàn)洞察

當(dāng)用戶在帖子頁面某一內(nèi)容停留時(shí)間超過5秒時(shí)，放大關(guān)注按鈕提高了用戶的點(diǎn)擊率，說明這樣的設(shè)置可以引起用戶注意并起到提醒用戶關(guān)注發(fā)帖用戶的作用，還可以幫助用戶找到更感興趣的內(nèi)容。

9. 后續(xù)計(jì)劃

1. 將該設(shè)置產(chǎn)品化，全量上線；
2. 清理該實(shí)驗(yàn)代碼；
3. 將該設(shè)置推廣至其他類似的頁面，繼續(xù)進(jìn)行測(cè)試。如添加好友的推薦頁面，當(dāng)用戶停留在某動(dòng)態(tài)超過5秒，放大關(guān)注按鈕，并進(jìn)行實(shí)驗(yàn)驗(yàn)證
   夜深，人靜，你我的增長(zhǎng)，才剛剛開始。

本文由 @Nicole 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。