中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

2021年4月17-18日，人人都是產(chǎn)品經(jīng)理舉辦的【2021中國(guó)運(yùn)營(yíng)增長(zhǎng)會(huì)·深圳站】完美落幕。字節(jié)跳動(dòng)火山引擎大數(shù)據(jù)應(yīng)用產(chǎn)品總監(jiān)張錦波，她分享的主題是《數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)，字節(jié)A/B實(shí)驗(yàn)大揭秘》。添加大會(huì)小助手豆豆（微信號(hào)：13265455310），回復(fù)暗號(hào)【031】，獲取本場(chǎng)嘉賓分享視頻回放，觀看完整演講。

大家好，我是張錦波，來自字節(jié)跳動(dòng)，今天我給大家?guī)砹艘豢羁梢酝ㄟ^A/B測(cè)試的平臺(tái)去驅(qū)動(dòng)增長(zhǎng)的一些方法論和思考。

大家聽到字節(jié)跳動(dòng)，首先會(huì)覺得這個(gè)公司做APP挺牛的對(duì)吧？每一個(gè)APP的增長(zhǎng)都做的不錯(cuò)。我們是采用量化分析、數(shù)據(jù)驅(qū)動(dòng)的核心理念是把產(chǎn)品推向增長(zhǎng)?？梢哉f，這個(gè)理念是寫入了字節(jié)跳動(dòng)整個(gè)公司發(fā)展歷程的基因里面的。

一、增長(zhǎng)創(chuàng)新閉環(huán)

在這里，我和大家分享一個(gè)比較簡(jiǎn)單的創(chuàng)新增長(zhǎng)的閉環(huán)：

我們最開始會(huì)利用很多類似UBA的工具進(jìn)行用戶行為分析，通過這些分析發(fā)現(xiàn)，在這個(gè)APP發(fā)展過程中是不是存在一些新的問題，或者去探索一些新的業(yè)務(wù)增長(zhǎng)點(diǎn)；之后就進(jìn)入了第二步，我們的數(shù)據(jù)分析師會(huì)把他的一些推斷傳遞給我們的產(chǎn)品經(jīng)理，產(chǎn)品經(jīng)理會(huì)提出了一些假設(shè)策略，設(shè)定一定的目標(biāo)。

第三步進(jìn)入到了很關(guān)鍵的一個(gè)環(huán)節(jié)：整個(gè)字節(jié)內(nèi)部，不管是功能研發(fā)還是算法模型的迭代，或者是UI交互上一個(gè)簡(jiǎn)單的按鈕顏色的變化都需要去做的驗(yàn)證——就是A/B實(shí)驗(yàn)。

在這個(gè)過程中，我們采用各種科學(xué)的實(shí)驗(yàn)分析工具或者分析模型，來幫助我們的數(shù)據(jù)分析師了解不同的實(shí)驗(yàn)策略，在整個(gè)推進(jìn)過程中當(dāng)中會(huì)有什么樣的表現(xiàn)。

最后一步，我們?cè)俳Y(jié)合實(shí)際場(chǎng)景去進(jìn)行分析：這個(gè)實(shí)驗(yàn)結(jié)論最終帶給我們哪些洞見？我們是不是要持續(xù)迭代？如此往復(fù)，就是一個(gè)激發(fā)創(chuàng)新和增長(zhǎng)的閉環(huán)。

根據(jù)剛才我們提到的這個(gè)閉環(huán)，再給大家來分享一下字節(jié)內(nèi)部的一個(gè)案例。

這個(gè)是我們海外版的一個(gè)短視頻APP。我們的數(shù)據(jù)分析師每天會(huì)對(duì)這款A(yù)PP進(jìn)行持續(xù)分析。結(jié)果發(fā)現(xiàn)：這款A(yù)PP和同類的海外產(chǎn)品相比，留存比較低。

我們開始找原因：

首先，通過多維下鉆拆分了新用戶和老用戶進(jìn)行初步分析，發(fā)現(xiàn)是新用戶的留存是比較低的、影響了大盤指標(biāo)，這說明什么問題？我們的新用戶沒有留存下來，他沒有達(dá)到 Aha momentO（阿哈時(shí)刻），沒有體會(huì)到產(chǎn)品的核心價(jià)值。

我相信很多人對(duì) Aha moment 這個(gè)概念應(yīng)該并不陌生，這是增長(zhǎng)黑客領(lǐng)域里經(jīng)常會(huì)提到的一個(gè)概念。

它指的是：新用戶使用我們的產(chǎn)品，在不停的探索、嘗試新功能之后，突然爽了、high了的那個(gè)時(shí)刻，那個(gè)時(shí)刻的到來意味著你的用戶和你的APP已經(jīng)開始建立起了一種情感的聯(lián)系，既然沒有來到這個(gè)時(shí)刻。

這是為什么呢？

于是，分析師又進(jìn)行了進(jìn)一步的下鉆分析，他通過對(duì)行為事件流進(jìn)行細(xì)查分析之后發(fā)現(xiàn)，這些沒有留下來的用戶大部分都沒有進(jìn)行上滑操作，也就是他根本沒有體會(huì)到上劃這個(gè)操作能夠讓他體驗(yàn)到更多更豐富的好玩視頻。

這時(shí)分析師提出了一個(gè)推測(cè)，是不是這個(gè)上滑推送的引導(dǎo)沒有讓用戶意識(shí)到他能夠通過這樣的操作觀賞更多的視頻。反饋給我們的產(chǎn)品經(jīng)理之后，便有了下面這個(gè)實(shí)驗(yàn)。

左邊這個(gè)是我們?cè)嫉木€上版本，右面是我們的產(chǎn)品經(jīng)理找設(shè)計(jì)師設(shè)計(jì)的一個(gè)半動(dòng)態(tài)化的引導(dǎo)樣式，大家可以感受一下，覺得這個(gè)變化能不能提升新用戶留存或者使用整個(gè)APP的市場(chǎng)？

這個(gè)實(shí)驗(yàn)針對(duì)新用戶采用了10%的流量上了一個(gè)月，核心目標(biāo)就是要提升新用戶的留存，圍欄指標(biāo)是提升上滑的操作滲透率，降低錯(cuò)誤操作的滲透率。最后其實(shí)效果并不好，宣告失敗了。

我們發(fā)現(xiàn)整個(gè)新用戶的次留、2留、3留沒有顯著提升，但是錯(cuò)誤操作的滲透率卻提升了4%，得出實(shí)驗(yàn)結(jié)論：這種半動(dòng)態(tài)式的引導(dǎo)樣式其實(shí)對(duì)于核心指標(biāo)是沒有收益的。

另外兩個(gè)護(hù)欄指標(biāo)，一個(gè)是上滑操作的滲透率，另一個(gè)是錯(cuò)誤操作的滲透率都不是特別好，圍欄指標(biāo)也是負(fù)向顯著，所以馬上停止實(shí)驗(yàn)。

但字節(jié)的產(chǎn)品經(jīng)理都很有鍥而不舍的精神，不是有那句很有名的話嗎？“頂級(jí)的產(chǎn)品經(jīng)理也只能跑贏一半的實(shí)驗(yàn)”，那咱們就再試試看，所以又做了下一輪的迭代嘗試。

右邊這個(gè)是一個(gè)全動(dòng)態(tài)式的引導(dǎo)方案。我們發(fā)現(xiàn)整個(gè)新用戶的次留、2留、7留上全部都有顯著的提升，大概的提升幅度在8%—10%之間。這樣一款在當(dāng)?shù)氐臐B透率已經(jīng)很高的短視頻產(chǎn)品可以提升這么高的新用戶次流，效果是非常好的，這個(gè)實(shí)驗(yàn)全量推上線。

后續(xù)分析師也沒有止步于此，繼續(xù)下鉆分析，剛才那個(gè)閉環(huán)大家還記得吧？它其實(shí)在一直不停的輪轉(zhuǎn)，做完了實(shí)驗(yàn)解讀會(huì)繼續(xù)進(jìn)行數(shù)據(jù)分析，然后通過多維下鉆鉆到不同的屬性上獲取更多洞見。

我們看到在一些發(fā)達(dá)的一線城市，上滑功能的滲透率提升很明顯，高于了平均水平；但是對(duì)于一些非發(fā)達(dá)地區(qū)沒有什么顯著變化，這是什么原因呢？

發(fā)達(dá)地區(qū)，大家的工作、生活節(jié)奏非?？?，如果沒有給我一個(gè)很直觀的上海操作引導(dǎo)時(shí)，我的耐心用完了就馬上跳出了。所以我們?cè)谧鯝PP跳出率研究的時(shí)候，也可以拆分不同性別、不同地域的用戶，針對(duì)特定的一些用戶群再去設(shè)定一些特定的策略。

二、字節(jié)實(shí)驗(yàn)文化

剛才給大家分享的是內(nèi)部的一個(gè)實(shí)驗(yàn)案例，現(xiàn)在回到了字節(jié)A/B實(shí)驗(yàn)文化。

A/B測(cè)試只是一個(gè)工具，我們最開始的時(shí)候就把A/B實(shí)驗(yàn)的思想融入到了字節(jié)的方方面面。

舉個(gè)例子：今日頭條的定名，就是在不同的應(yīng)用市場(chǎng)上架不同的名稱，來看下載率和分享率，最后“今日頭條”勝出了。

抖音也是一樣的，這個(gè)名稱并不是第一首選，我們做了很多個(gè)名稱上架應(yīng)用市場(chǎng)之后，“抖音”排名第二，最后根據(jù)這款A(yù)pp的調(diào)性，我們選擇了“抖音”作為他們的核心名字。

字節(jié)內(nèi)部的實(shí)驗(yàn)平臺(tái)，從2016年正式成為一個(gè)產(chǎn)品化平臺(tái)。到現(xiàn)在，五六年的時(shí)間，沉淀了70萬的實(shí)驗(yàn)總量。大家不要小看這個(gè)數(shù)字啊，我在2019年底的時(shí)候曾經(jīng)統(tǒng)計(jì)過實(shí)驗(yàn)平臺(tái)的實(shí)驗(yàn)數(shù)量，當(dāng)時(shí)是三十萬。所以一年的時(shí)間就翻了一倍，這說明什么？

大家已經(jīng)發(fā)現(xiàn)A/B實(shí)驗(yàn)?zāi)軌驇矸浅４蟮膬r(jià)值，所以A/B實(shí)驗(yàn)在每一次迭代、每一個(gè)優(yōu)化都會(huì)對(duì)我們的產(chǎn)品經(jīng)理和數(shù)據(jù)分析師所應(yīng)用，他們經(jīng)常提及的一句話就是：A/B測(cè)試是你決策一切的基礎(chǔ)。

有幾個(gè)數(shù)字跟大家分享一下：我們每天新增的實(shí)驗(yàn)就有1500個(gè)，我們同時(shí)在線上跑的實(shí)驗(yàn)有上萬個(gè)之多，而且我們內(nèi)部大大小小四百多條的業(yè)務(wù)線，全都在用這個(gè)實(shí)驗(yàn)平臺(tái)去做實(shí)驗(yàn)。

A/B實(shí)驗(yàn)平臺(tái)是支撐了字節(jié)跳動(dòng)產(chǎn)品高速迭代的，它也沉淀了海量的最佳實(shí)踐和方法論。

三、A/B實(shí)驗(yàn)為業(yè)務(wù)發(fā)展帶來巨大價(jià)值

A/B實(shí)驗(yàn)到底能帶來什么核心價(jià)值呢？

上圖就是A/B實(shí)驗(yàn)的價(jià)值，它除了能夠給滿足字節(jié)內(nèi)部的各個(gè)業(yè)務(wù)線，同時(shí)我們也把它TO B了，為火山引擎的外部客戶帶來了非常多的核心的價(jià)值收益。

1. 提活促流
2. 業(yè)務(wù)創(chuàng)新
3. 收益提升
4. 管理提效

看著很簡(jiǎn)單，我來跟大家說幾個(gè)case，幫助大家理解的更深刻一點(diǎn)。

1. 提活促流

首先在市場(chǎng)運(yùn)營(yíng)階段提活促流，我們的市場(chǎng)或運(yùn)營(yíng)人員會(huì)通過A/B測(cè)試的多鏈接實(shí)驗(yàn)、可視化實(shí)驗(yàn)、推送實(shí)驗(yàn)?zāi)芰?，去做精?xì)化的運(yùn)營(yíng)，提升整體的收益，達(dá)到一個(gè)提活促留的效果。

先來看第一個(gè)case，這也是字節(jié)內(nèi)部的一個(gè)案例，很有意思。

某個(gè)垂類社區(qū)，分析師發(fā)現(xiàn)新用戶流失率很高，而且使用閱讀時(shí)長(zhǎng)比較低，于是產(chǎn)品側(cè)設(shè)計(jì)了一個(gè)“推送實(shí)驗(yàn)”去提活。推送實(shí)驗(yàn)+推薦實(shí)驗(yàn)的組合拳，是放諸四海而皆準(zhǔn)的一個(gè)很有用的方式。我們想促活提留的時(shí)候，可以嘗試用“推送”再加上“推薦”的一個(gè)組合拳的方式。

1）推送實(shí)驗(yàn)

分析師設(shè)計(jì)如上圖的四個(gè)實(shí)驗(yàn)組，跑了兩周實(shí)驗(yàn)，流量是40%，最后跑贏的是實(shí)驗(yàn)組2，跟大家的預(yù)期一樣嗎？

這也是我們沉淀下來的推送的最好時(shí)機(jī)，最后把新用戶的3流提升到了11%，而且非常顯著，這個(gè)實(shí)驗(yàn)組是現(xiàn)在在線上跑的推送運(yùn)營(yíng)的整體策略。找到合適的推送時(shí)機(jī)、合適的推薦角標(biāo)，再加上合適的推送策略和文案等等，所有的這一切把它組合探索出來之后，就會(huì)形成有效的一個(gè)推送活動(dòng)。

接下來，把用戶促活了，怎么把他留下來？——第二個(gè)很核心的跟它打配合的就叫做推薦實(shí)驗(yàn)。

2）推薦實(shí)驗(yàn)

怎么把你的用戶留下來？推薦實(shí)驗(yàn)，做feed流。我們當(dāng)時(shí)也是做了兩輪，第一輪是不使用個(gè)性化推薦和使用個(gè)性化推薦的 1.0 模型，發(fā)現(xiàn)用了還是很有用。APP的使用時(shí)長(zhǎng)增加了59%，且顯著。點(diǎn)贊評(píng)論的滲透率也提升了81%，這已經(jīng)是非?？捎^的一個(gè)數(shù)字了。

算法工程師又優(yōu)化了推薦的算法模型，升級(jí)到了 2.0 版本，之后APP的使用時(shí)長(zhǎng)上又提升了8.4個(gè)點(diǎn)，而且點(diǎn)贊評(píng)論的滲透率也提升了18.2%。

這兩個(gè)實(shí)驗(yàn)是非常典型的在提活促留的場(chǎng)景下組合拳的實(shí)驗(yàn)方式。

2. 業(yè)務(wù)創(chuàng)新

剛才也說到了，字節(jié)的基因就帶有A/B實(shí)驗(yàn)，所以我們的產(chǎn)品經(jīng)理不管是在功能迭代還是算法模型的迭代，還是UI交互上很小的改動(dòng)，都會(huì)進(jìn)行A/B實(shí)驗(yàn)來驗(yàn)證。目的就是降低試錯(cuò)成本，激發(fā)創(chuàng)新潛能，快速找到PMF，挖掘產(chǎn)品的核心價(jià)值。

3. 收益提升

在整體的支付環(huán)節(jié)，比如支付流程、支付策略、支付模式、支付通道是不是合適，都可以來做實(shí)驗(yàn)。這個(gè)收益是非常明顯的，營(yíng)收層面的大盤指標(biāo)上會(huì)特別顯著。

4. 管理提效

有一次我跟外部客戶討論他們的實(shí)驗(yàn)場(chǎng)景時(shí)，他同我講：老板問他業(yè)務(wù)大盤指標(biāo)漲了這么多，團(tuán)隊(duì)負(fù)責(zé)這個(gè)業(yè)務(wù)模塊到底貢獻(xiàn)了多少呀？

他聽到后慌了，因?yàn)樗恢涝趺窗炎约哼@個(gè)業(yè)務(wù)線對(duì)于整體的總盤貢獻(xiàn)度拆分出來。有了A/B測(cè)試平臺(tái)，這個(gè)問題就迎刃而解，通過正交實(shí)驗(yàn)，可以非常好的量化整個(gè)部門或團(tuán)隊(duì)對(duì)于業(yè)務(wù)本身的貢獻(xiàn)度和業(yè)績(jī)情況。

四、字節(jié)ToB實(shí)驗(yàn)平臺(tái)介紹

剛才講了這么多，現(xiàn)在帶大家來沉淀一下，目前在字節(jié)內(nèi)部或者TO B的這套A/B實(shí)驗(yàn)平臺(tái)，它提供了哪些核心能力。

我們提供了多場(chǎng)景多領(lǐng)域的特型實(shí)驗(yàn)?zāi)０澹?/p>

• 個(gè)性化推送實(shí)驗(yàn)：在運(yùn)營(yíng)場(chǎng)景下支持做個(gè)性化推送，支持極光、Webhook、FCM、APNs等通道；
• 可視化建站實(shí)驗(yàn)：幫助非研發(fā)人員直接在頁(yè)面上通過配置的方式改文案等元素，非常簡(jiǎn)單快捷；
• 多鏈接網(wǎng)頁(yè)實(shí)驗(yàn)：在廣告場(chǎng)景下，我們有多個(gè)活動(dòng)頁(yè)面但是又沒有自動(dòng)化投放工具怎么辦？我一個(gè)入口可以做重定向，直接把流量打到了不同的活動(dòng)頁(yè)或者著陸頁(yè)上去對(duì)比你的實(shí)驗(yàn)、評(píng)估效果；
• 客戶端和服務(wù)端編程實(shí)驗(yàn)：這兩個(gè)是研發(fā)人員超愛的，不管是什么，只要用它都能搞的定。從前端的交互、功能迭代到后端的策略和模型優(yōu)化，都可以進(jìn)行A/B測(cè)試。

1. 推送實(shí)驗(yàn)

給大家來具體講一下推送實(shí)驗(yàn)，推送實(shí)驗(yàn)其實(shí)就是結(jié)合自動(dòng)化營(yíng)銷場(chǎng)景，直接幫助市場(chǎng)人員，在推送平臺(tái)、推送通道、推送時(shí)機(jī)、推送標(biāo)題、推送文案、落地頁(yè)等元素上，甚至連提醒方式都可以去做實(shí)驗(yàn)。

通過這種自動(dòng)化探索的方式，可以幫你去探索出一套非常適合你當(dāng)下環(huán)境的推送策略。

這是一個(gè)電商的case，在首購(gòu)、復(fù)購(gòu)以及喚醒沉睡用戶這些環(huán)節(jié)，匹配到整個(gè)新用戶流失的曲線，在流失拐點(diǎn)到來之前，給他推送優(yōu)惠券、折扣、猜你喜歡等喚醒，把ta召回并促活。

2. 可視化建站實(shí)驗(yàn)

這個(gè)是可視化建站實(shí)驗(yàn)，無需開發(fā)人員介入，在文案、圖片、顏色、字體大小、字號(hào)還有背景圖案上都可以去做各種各樣的對(duì)比實(shí)驗(yàn)，不需要編碼，就可以快速生成一個(gè)新實(shí)驗(yàn)的頁(yè)面版本。

同時(shí)還可以新增元素、新加涂層、刪減元素等等，甚至布局位置也可以變更，非常適合我們?cè)谇岸薝I做調(diào)整的一些相關(guān)實(shí)驗(yàn)。正所謂人人都是實(shí)驗(yàn)官，極大的降低了實(shí)驗(yàn)操作的門檻和理解成本。

3. 多鏈接實(shí)驗(yàn)

火山引擎的火種計(jì)劃的頁(yè)面

多鏈接合并實(shí)驗(yàn)比較適合網(wǎng)站首頁(yè)做大改版的場(chǎng)景。幾個(gè)不同的頁(yè)面但是同一個(gè)入口，重定向到不同的頁(yè)面上；或者節(jié)日大促時(shí)完全不同的活動(dòng)策略、多渠道多個(gè)落地頁(yè)的推廣等等都很適合多鏈接合并實(shí)驗(yàn)。

4. 實(shí)驗(yàn)報(bào)告

實(shí)驗(yàn)報(bào)告是整個(gè)實(shí)驗(yàn)環(huán)節(jié)最為關(guān)鍵的一個(gè)部分，為什么？

實(shí)驗(yàn)報(bào)告如果有指導(dǎo)性的錯(cuò)誤，那直接會(huì)讓決策者錯(cuò)誤判斷，甚至推錯(cuò)策略，造成不可逆的負(fù)向影響。因此實(shí)驗(yàn)結(jié)論必須要科學(xué)、全面、客觀?；鹕揭鍭/B測(cè)試平臺(tái)提供多種高級(jí)的分析模型去做，甚至對(duì)于進(jìn)組用戶我們都可以對(duì)他進(jìn)行畫像的成分洞察。

包括像同期群的一些非常典型的A/B實(shí)驗(yàn)當(dāng)中做最佳實(shí)踐的分析模型。在這個(gè)實(shí)驗(yàn)報(bào)告當(dāng)中可以幫助大家非常全面的去了解你的實(shí)驗(yàn)表現(xiàn)，避免以偏概全。

這是一個(gè)非常有趣又很實(shí)用的能力 ，叫智能流量調(diào)優(yōu)實(shí)驗(yàn)。

它特別適合比如：我們有一個(gè)活動(dòng)，但是我不想長(zhǎng)期去觀測(cè)它的效果，因?yàn)樗怯袝r(shí)限性要求的，超過了這個(gè)時(shí)間再推起來也沒有什么本質(zhì)意義了。

思想來自博彩行業(yè)，有一個(gè)賭徒到了賭場(chǎng)，假設(shè)手里只有五十枚硬幣，然后面對(duì)很多不同的老虎機(jī)，每個(gè)老虎機(jī)搖臂贏率不一樣，那么這五十枚硬幣怎么去分配才能夠快速的拿到最大的收益回報(bào)呢？

在這個(gè)過程中我們采用的就是多臂老虎機(jī)的思路，映射到實(shí)驗(yàn)場(chǎng)景下，一臺(tái)老虎機(jī)對(duì)應(yīng)一個(gè)實(shí)驗(yàn)組，每搖動(dòng)了一次搖桿對(duì)應(yīng)的是我們實(shí)驗(yàn)的一次曝光，累積回報(bào)對(duì)標(biāo)的是在核心指標(biāo)上的累積收益。

這個(gè)問題就被抽象為如何在 快速發(fā)現(xiàn)并收斂到價(jià)值收益最大的創(chuàng)意 和 不放棄對(duì)新創(chuàng)意進(jìn)行探索 之間進(jìn)行平衡。本質(zhì)上是探索和利用的問題。

在這里我們就通過很多方式去幫助大家自動(dòng)化的、智能化的去探索出在所有這些策略當(dāng)中最優(yōu)的那個(gè)，并且快速的把絕大部分流量流轉(zhuǎn)到當(dāng)前最優(yōu)策略上，幫助我們的運(yùn)營(yíng)人員最快的拿到收益。

5. Feature Flag 智能發(fā)布

下面我們講到了A/B測(cè)試的另外的一個(gè)兄弟產(chǎn)品——Feature Flag。

Feature Flag 是海外用的比較多的一個(gè)精益化開發(fā)的理念，翻譯成中文可以叫功能開關(guān)、或者叫功能發(fā)布控制，它指的是這個(gè)過程當(dāng)中幫助研發(fā)或產(chǎn)品人員能夠平滑灰度發(fā)布、降低失敗回滾的風(fēng)險(xiǎn)。

比如研發(fā)經(jīng)常會(huì)說：“我上線一個(gè)特別大的功能，但是現(xiàn)在這個(gè)代碼包太大了，把代碼包弄回主分支時(shí)發(fā)現(xiàn)沖突特別多怎么辦？”這個(gè)時(shí)候你就可以用 Feature Flag ，用一個(gè)功能開關(guān)管控起來，讓它在線上不生效，寫一點(diǎn)代碼就把它merge回主分支，不至于造成讓人崩潰的很大的代碼沖突。

對(duì)于QA人員也是，只要上線之后出現(xiàn)任何問題，都會(huì)成為背鍋俠認(rèn)為是測(cè)試不到位。那我怎么控制這個(gè)上限的風(fēng)險(xiǎn)？怎么保證安全著陸？可以利用 Feature Flag 的方式，小流量逐步灰度發(fā)布來保障整個(gè)上線的平穩(wěn)和安全。

對(duì)于產(chǎn)品側(cè)，很多的產(chǎn)品策略，想做差異化下發(fā)，比如想把剃須刀的優(yōu)惠券發(fā)給男士，把香水的優(yōu)惠券發(fā)給女士，而不希望是全量統(tǒng)一上線的，定向發(fā)布的或者基于不同策略發(fā)布應(yīng)該怎么辦？那你可以通過 Feature Flag 來為不同的受眾去提供一些差異化的體驗(yàn)和服務(wù)的。

我們現(xiàn)在允許把整個(gè)實(shí)驗(yàn)沉淀固化成一個(gè)Feature。對(duì)于產(chǎn)研團(tuán)隊(duì)來講，開發(fā)完畢了多個(gè)功能策略，實(shí)驗(yàn)跑贏了某個(gè)策略，免發(fā)版就可以直接把它推到全量線上，長(zhǎng)期生效。

五、總結(jié)

剛才講到的都是A/B實(shí)驗(yàn)以及它的姐妹產(chǎn)品 Feature Flag 能夠給我們的用戶帶來的核心價(jià)值和它的一些核心能力，現(xiàn)在做一個(gè)總結(jié)。

這是實(shí)驗(yàn)對(duì)提活促流的營(yíng)銷增長(zhǎng)三個(gè)階段如何使用的總結(jié)：

1. 精準(zhǔn)獲客

精準(zhǔn)獲客這一步，渠道帶來的新增流量的質(zhì)量是很重要的。我們可以利用實(shí)驗(yàn)平臺(tái)的指標(biāo)體系，通過對(duì)應(yīng)的廣告指標(biāo)、曝光、CTR、下載量、CAC去監(jiān)測(cè)和評(píng)估整個(gè)渠道的質(zhì)量。

在廣告投放策略這部分你也可以使用MVT多變量實(shí)驗(yàn)，是一個(gè)多變量的自動(dòng)化的組合實(shí)驗(yàn)，去探索出在廣告投放策略當(dāng)中哪一個(gè)投放頁(yè)各元素組合的效果是更好的；還有多鏈接實(shí)驗(yàn)和MAB的智能動(dòng)態(tài)優(yōu)選，都可以在廣告投放策略當(dāng)中有很好的用武之地。

分享裂變機(jī)制，比如權(quán)益、病毒傳播的方式等等，也都可以實(shí)驗(yàn)。

2. 新客激活

在新客轉(zhuǎn)化上，比如說落地頁(yè)的效果評(píng)估、新手的轉(zhuǎn)化通道是不是夠好、新手的激勵(lì)措施是不是能夠激發(fā)用戶的 Aha moment，所以這里面很關(guān)鍵的一個(gè)點(diǎn)是在新客激活階段找到 Aha moment 和影響他的那個(gè)關(guān)鍵行為和關(guān)鍵頻次。

抖音有一個(gè)社交關(guān)系實(shí)驗(yàn)，大家如果在新客階段授權(quán)抖音拉取你的手機(jī)號(hào)社交關(guān)系，你就能夠看到您手機(jī)號(hào)的這些朋友最近發(fā)的一些小視頻，這個(gè)就可以很好的幫助我們?nèi)バ纬闪艘恍┬驴偷募せ钷D(zhuǎn)化，這個(gè)實(shí)驗(yàn)的效果就很好。

另外在這個(gè)過程當(dāng)中，還可以持續(xù)的去進(jìn)行新用戶的畫像洞察，方便為我們后續(xù)做老客提流以及促活時(shí)提供一些新策略。

3. 老客留存

現(xiàn)在互聯(lián)網(wǎng)流量的紅利已快消耗殆盡了，大家在開源節(jié)流這里更重視的是做節(jié)流，就是做內(nèi)增長(zhǎng)。

這個(gè)階段，產(chǎn)品經(jīng)理會(huì)利用A/B實(shí)驗(yàn)在迭代過程中去建立一個(gè)跨越式的黏性增長(zhǎng)方案。每一個(gè)步驟都會(huì)進(jìn)行A/B實(shí)驗(yàn)，然后重復(fù)的去進(jìn)行數(shù)據(jù)分析。還是剛才講的那個(gè)創(chuàng)新增長(zhǎng)的閉環(huán)，同時(shí)把一些非常好的功能沉淀下來形成我們的Feature，然后再全量的發(fā)布到線上。

這是2019年3月張一鳴在字節(jié)跳動(dòng)七周年上說的一句話?！巴硇氖堑鼗?，想象力是天空，中間是邏輯和工具。”

A/B測(cè)試的確很重要，但它僅僅是一個(gè)工具，這個(gè)工具是無法告訴你用戶的真實(shí)需求是什么的，但是同理心可以。同理心能夠幫助我們盡快的去發(fā)現(xiàn)用戶訴求，怎么給他帶來核心價(jià)值，所以同理心是基礎(chǔ)、是地基。但是光有同理心不夠，因?yàn)橛辛送硇奈覀冎荒茏龀鲆豢钣杏玫漠a(chǎn)品，那我們還需要什么？

——想象力。想象力為我們的產(chǎn)品插上了騰飛的翅膀，我們可以做出一個(gè)出色的甚至是世界一流的產(chǎn)品。

在這二者之間，是我們各種各樣非常好用的邏輯、方法論和工具。同理心的地基是務(wù)實(shí)，想象力的天空是浪漫，字節(jié)就是務(wù)實(shí)的浪漫主義。

相關(guān)閱讀：

競(jìng)爭(zhēng)沒有結(jié)束而是剛剛開始——2021中國(guó)運(yùn)營(yíng)增長(zhǎng)會(huì)·深圳站現(xiàn)場(chǎng)報(bào)道

全域營(yíng)銷從零到一：數(shù)據(jù)與應(yīng)用

在用戶運(yùn)營(yíng)上，別做渣男了！

年度行業(yè)大會(huì)開啟巡回

互聯(lián)網(wǎng)圈年度盛典，聽一線實(shí)戰(zhàn)專家深度分享，與數(shù)千位互聯(lián)網(wǎng)圈同行深度交流，拆解產(chǎn)品、運(yùn)營(yíng)實(shí)戰(zhàn)案例，挖掘行業(yè)新機(jī)會(huì)！

掃描下方二維碼添加大會(huì)小助手，回復(fù)暗號(hào)【032】領(lǐng)產(chǎn)品經(jīng)理&運(yùn)營(yíng)人必備工具包，獲取全年大會(huì)最新資訊！

本文為【2021中國(guó)運(yùn)營(yíng)增長(zhǎng)會(huì)】現(xiàn)場(chǎng)分享整理內(nèi)容，由人人都是產(chǎn)品經(jīng)理運(yùn)營(yíng) @Emily 整理發(fā)布。未經(jīng)許可，禁止轉(zhuǎn)載，謝謝合作

題圖來自大會(huì)現(xiàn)場(chǎng)