欧美日韩激情在线,99精品国产一区二区三区不卡,久久精品一区二区

搜索

APP

起點課堂會員權益

職業體系課特權

線下行業大會特權

個人IP打造特權

30+門專項技能課

1300+專題課程

12場職場軟技能直播

12場求職輔導直播

12場專業技能直播

會員專屬社群

榮耀標識

發布

注冊 | 登錄

Google產品優化的秘密：解密增長黑客和AB測試

人人都是產品經理

2016-08-02

2 評論 23171 瀏覽 181 收藏

62 分鐘

heiikejiemidd

大數據時代，擁有數據就是擁有了寶貴的財富，而當下的互聯網環境中獲得數據也已經變得越來越容易。

然而僅僅手握數據還是不行的，你還需要使用數據來發揮價值。但是數據的價值怎么才能最大化的挖掘出來呢？

7月14日，前Google AdWords 優化團隊負責人，耶魯大學計算機科學博士，吆喝科技創始人@王曄做客免費在線課程欄目「起點學院公開課」，帶你揭秘數據增長驅動產品優化。

嘉賓介紹

王曄，清華大學電子工程系碩士，耶魯大學計算機科學博士，曾在Google美國總部負責廣告產品的創新和研發，對A/B測試系統、大規模復雜系統、數據挖掘和分析、互聯網基礎架構有深入研究。歷任IEEE移動計算、GLOBECOM互聯網協議與車輛技術評論家專家、ACM外部審核專家、2009對等網絡國際研討會、超現代化的通訊和控制系統2010、2011國際會議TPC。在IEEE、ACM等全球有影響力的學術期刊發表多篇學術論文，主要研究領域為計算機網絡系統設計及優化。

以下為分享正文，由人人都是產品經理團隊筆記小組@李任培依據嘉賓現場分享內容整理，編輯有修改：

一、什么是增長？

1、定義

先說一下產品優化的大背景：大的背景實際上是增長，我們所做產品優化的目的其實很明確，需要不斷地促進企業公司業務的增長，這是我們的主要目標。

產品優化當然有其他的一些好處，但是它的根本目的是為了獲得業務的增長。

增長這個概念從經濟學角度來講，是連續發生的經濟事實的變動以及單位時間的變化。這個變化可以是正向的也可以是負向的，所以有負增長這個概念。在互聯網領域里，增長的概念還可以再細分；除了業務之外（比如說公司的凈資產，營業額等等），還有一些運營的指標增長也是我們的目標。

2、增長指標

PV/UV/IP
訪問時長/停留時長/使用時長
GMV/LTV/客單價
分享/點贊/轉發

大家可能比較了解，比如說你是個網站的站長，那么你肯定會關心PV、UV、瀏覽用戶IP地址等等。你也會關心用戶的訪問時長，停留時間等等，特別是一些視頻類、直播類的網站，尤其關心時長的問題。如果你是電商類的產品，你肯定關心你的銷量GMV；或者如果你是一些在線的網站，那么你要關心客單價、LTV。用戶一生中給你的貢獻，有一些分享、轉發、點贊等等其他的指標。而我們優化的目的都是針對這些指標，讓他們能夠盡量的提升，或者讓他們不要去負增長。

二、如何實現增長？

1、傳統方式

那么如何實現增長呢？

從傳統的方式來說，往往和產品的關系并不是很大。因為對傳統企業來說，通常你做出一個產品之后，你想很快速的去迭代它，優化它是很困難的。比如做牙膏的，或者做手機的，要獲得增長怎么辦？往往就需要去做地推，去打廣告，做促銷。在線也有一些方式，比如從一些第三方渠道購買流量，或者可以給用戶送補貼、送促銷、做活動。雖然在線的這種增長方式曾經很有效，但是現在不太能夠持續了。這主要是因為：無論做廣告也好，做促銷也好，其實是一個高投入的事情。隨著競爭越來越激烈，你的對手通過競價不斷推高了渠道的價格，會給你帶來一個不可持續性的投入：成本越來越高，買不起了，也補貼不起了。而且通過補貼這種方式帶來用戶，這樣的增長往往是很敏感的，一旦你的補貼沒有了，燒錢結束了，他們就會離開，他們就不能夠持續的為你做出貢獻。

2、新興的Growth Hack：AARRR模型

新一代的增長方式就截然不同了，它是一種數據化的方法。數據的手段，通過一種很技術人的方法來獲得增長。不再是通過花錢去硬砸的方式，而是通過產品、數據、市場的數據分析，通過快速實驗和迭代產品，來找到產品對用戶最大的價值在哪里，怎樣在用戶進入產品之后的每一個環節獲得增長。

這種方式一共包括了5個環節，就是AARRR?？赡苡行┡笥讯悸犝f過這個模型，但是我還是要把它再說一下，讓大家明確的知道我們到底在討論什么。

在這個模型中AARRR五個環節是用戶進入你產品之后的5個體驗。這個體驗如何優化，如何產生更高的價值，這是新一代的增長方式，我們叫它增長黑客。它尤其關注的是客戶留存、激活以及口碑。從用戶最早進來，我們獲得用戶開始；到后面的激活、留存；到口碑；最后到營收，像水從上游流到下游的概念（中間可能還會有一些平級的概念）。那么，增長黑客關注的是什么呢？就是在用戶體驗產品的這五個環節之中，如何能夠不斷的獲得增長。讓每個環節都提高一點，就會最終帶來一個全面的提升。這就是我們剛才所說的增長，或者說是優化的目的。

最上面的acquisition獲得了用戶。

用戶來了之后，一個很重要的環節是激活：activation，就是我們可能從渠道買來的流量（但是并不是所有的用戶都會激活它，可能只是因為你送了一個什么券，或者廣告很吸引人，他來了；或者它是一個預裝的軟件）。但是他并不會真的變成你的一個用戶。變成用戶激活很重要。

然后接下來，激活的一部分用戶會留存下來：Retention。意思是他會長期使用你的產品，有一部分甚至會幫你去refer，幫助你去做口碑營銷，好找更多的人進來，讓更多的人使用你的產品。

所以這個激活、留存、口碑營銷都是非常重要的，任何一個環節都會帶來整體的增長。

那么最后當然是最后一步轉化，活躍用戶當中的一部分會為你貢獻收入，無論是通過點擊廣告，還是付費購買，以及采購商品，他都會給你帶來收入。

3、轉化率優化，增長是最有效的杠桿

AARRR這5個環節里面我們都想做增長，大家也知道這個概念，那么增長的是什么呢？實際上是增長的轉化率。轉化率的優化是增長最有效的杠桿。也就是說從獲取到激活，這是一個轉化。

可以想象：我們有10000個獲取的用戶，其中有2000個變成了我們的活躍用戶，我們在這個層面有一個20%的轉化率。轉化的活躍用戶有1000個用戶留存下來長期使用我們產品，那我們就有50%的轉化率。這50%里面，可能又會有10%給我們貢獻了收入，有100個用戶給我們貢獻了收入，這又是一個轉化率。

這每一個環節的轉化率都是特別特別重要。你只要在這個轉化率這件事情上做出了增長，做出了優化，你就可以帶來實際的增長，而且是最有效的。

當然也有一些別的可以做增長的地方，比如說你在acquisition，激活的地方多開一些渠道，你可以獲得增長。在轉化的基礎上也是可以從別的地方引流，讓他們活躍，這也是有可能的。

但是這些都不是很有效的方法，最有效的方法就是直接提高轉化率。

4、沒有轉化率的優化，增長十分困難

其實可能大家都知道這個概念，但是為了強調就再說一次。

如果你沒有考慮轉化的情況你會獲得更多的渠道，會更多的開源，但是就像這幅圖里的一樣，你摘的玉米棒子，你可能一路摘一路丟，它沒有形成轉化，沒有形成留存的話，就完全浪費了所有的努力和投入。

5.什么是轉化率優化

那么怎么樣去提升轉化率，或者說怎么樣優化轉化率呢？其實對我們產品經理來講是一個非常硬功夫的事情，那就是說我們要去考慮我們自己的產品，比如說網站或者APP，我們怎么能讓它變得更好，變得更有效，變得對我們的用戶來說更加的高效。

最大化優化你的收入，最大化優化你的業務目標，比如讓用戶更多的下單，或者讓用戶更多的購買，這可能是你的目標，但是實際上能夠產生這個效益來說，要產生的最核心的反而是是從你的用戶考慮問題，怎么能夠提升他們的用戶體驗。

我舉個非常直白的例子：我們都說怎么讓電商產生更多的收益，我們想讓一個用戶在電商平臺里多停留一些時間，這當然是個方法，我們通過優化我們的推薦算法，推薦相應的商品，提高我們的排序算法，讓用戶可以更快的找到他想要的東西。我們通過UI，競價，展示各個不同層面的優化，讓這個用戶的體驗更好，讓他更有效率的更方便的更可信的找到他想要購買的商品。這樣就有可能讓他在同樣的時間之內多下單，讓他在你這個平臺待同樣的時間但是產生更多的效果，產生更多的轉化，這個就是所謂的轉化率優化的方法。

6、轉化率優化的力量

轉化率優化可以擴大你的用戶獲取渠道，可以讓你的市場行為更加有效。比如說你轉化率在注冊這個環節上提升了10%，那么你原來可能來了10000個用戶，最后轉化了1000個注冊，但是現在你就可以變成1100個。也就是你的平均成本下降了百分之幾個點。你原來花100塊錢的事情現在花九十幾塊錢就可以干。如果你能注冊轉化率提升50%，就不得了了。你可以打開新的有效的增長渠道，比如說你現在留存變好了，你現在轉化變好了，你就可以更大膽的更積極的去燒錢，更積極的去促銷，更積極的去打渠道。當然最重要的還是提升用戶的體驗，讓你的用戶更開心，讓他們可以產生傳播，讓他們給你帶來更多的流量。當然最重要的是當你看到你的轉化率還不是最好的時候，還不是100%的時候，就可以繼續尋找改進的空間。

7、AARRR中的轉化率

那么回到AARRR這個模型我們就可以看到轉化率包括了哪些。最簡單的是一開始。比如說網站，或者是APP，一開始是訪客，然后呢是留存，他不離開，然后呢他可能是a-ha moment，進來之后他的第一次訪問，覺得你的產品很棒，完全達到了甚至超越了他的需求，那么他可能就會形成進一步的轉化。然后會有注冊這樣一個過程，最后可以形成一個有效的賬號。然后，在留存這個環節，就可能出現用戶用他這個賬號更多的打開你給他發的通知，然后重新回到平臺上，然后在你這個產品里面做更多的訪問，然后，那么更加酷的一個環節是轉化可能會更低，但是效果會更好的一個環節就是這個口碑營銷，他們會去宣傳，“誒，你產品很棒，體驗很好，我希望拉更多的人進來”那么這就是所謂的refer。到最后，revenue，可能轉化率更低，但是它的意義就會更大，它會點擊廣告，它會產生購買，會成為你的收入的主要來源。

大家可以看到這張表的一個例子就說明了：轉化的越深，用戶的行為對我們的價值就越高。我們看到最后可能就是購買更高價值的商品之后它可能對我們的價值是最高的，是25塊錢，這樣一個行動。但是要產生這樣一個行動，他要經過前面的層層的環節，每一層環節轉化率的提高都會對最后一個環節產生巨大的影響。這就是我們的AARRR模型的意義，讓我們知道在哪些環節上可以去優化，可以去增長，他最終產生最后的效果。

8、優化方程式

然后呢說到這個優化的話，其實，轉化率優化這件事情我們用一個數學方法去描述的話，我們在maximum，conversion，我們在最大化轉化率。

Constraint，受限條件

constraint，就是它受限制的條件，可能是你本身有的用戶數量，或者你能夠觸達的用戶數量。你受限制的可能是你budget預算，然后也受限制于你企業本身你有多少研發力量，你有多少數據分析能力，你有怎么樣的這種條件。然后從數學理論來講它就是一個數學問題，這個數學問題有意思在哪里呢。就是我們的目標很明確，我們要去優化，我們要去最大化我們的轉化率。同時我們的受限條件也很明確，就是我們現有的企業還有現有環境的限制，但是這個變量卻很復雜，就是我們可以控制變量來不斷的提升轉化率最終達到最大化。

從產品，運營兩方面優化轉化率

但是這個變量本身卻很復雜，它包括了至少兩方面是我們產品經理和產品負責人特別重視的，一個是我們的產品本身，一個是我們的運營，那產品可能就包括你的UI的設計，然后你到底有哪些功能，你的用戶體驗流程是什么樣，然后細節上的文案是怎么樣的，你的界面布局或者用戶交互是怎么樣的，然后我們后端的一些，比如說推薦算法，排序算法，風控策略，派單策略等等，都是我們產品的一部分，她都可以做各種各樣的調整，各種各樣的變化。它是一個很復雜的變量。那么運營環節也是，我們可以做各種各樣的活動，做各種各樣的促銷，做內容營銷，然后做大量的PR，傳播，分享等等各種各樣的努力都可以做。這些都是我們可控的變量，我們通過控制這些變量，來最大化我們的轉化率，這就是整個優化所做的事情。

優化方程式的解釋無限的

如果大家學過優化理論的話可能知道，如果在一個很明確的限制條件下，有一個很明確的優化目標，再有一個變量解的空間，我們是有很多算法來找到這個最優解的。比如說gradient這種算法，比如說模擬退火等等這樣人工智能的算法都可以。但是很遺憾，在我們的企業運作中，在我們的互聯網產品優化過程中我們這些算法都幫不上忙，原因就在變量的解的空間太大了，解集是無限的，也就是說我們沒有辦法去遍歷，沒有任何的辦法找到最優的解，所以我們需要一個迭代的方法。

9、如何優化轉化率

在這張圖里就展示了它的方法。可能非常非常的原始和粗暴，但它也是我們唯一可以仰仗的方法。也就是說我們不斷在已有產品已有運營的基礎之上，我們去做些微的調整，然后去嘗試哪些調整有可能帶來轉化率的增長，哪些不可以。然后我們通過這樣的方式一點一點去優化提升我們的轉化率。方法很簡單，根據我們要優化的目標，把比如說頁面上的改動灰度的發布給一部分用戶，然后去看它的數據。比如在這張圖里，可能藍色的改版放給了一半用戶，他們的轉化率是11%，而原來這個綠色的版本是23%。數據結果告訴我們，這個綠色的版本更好，也就是說我們嘗試了解空間里至少兩個點，其中一個點比另一個點好我們選擇綠色的版本。那么在這里要注意，這個流程是只改變一個條件的單盲試驗，也就是這個對比里面我們僅僅是對比了這個產品的不同。產品本身的用戶流量應該是比較相似的，他們用戶的來訪時間應該是比較相似的，其他的促銷活動，所有的用戶應該都享受。在其他條件都不便的情況下，只改變網頁一點點的變化，去對比數據轉化率的數據，然后去做決策到底哪個更好。要注意這是只改變一個條件的單盲實驗，我們后面再去提到這一點。

10、通過優化打造MVP

優化的時候這種迭代的思想其實是從我們第一天就開始的，也就是我們大家都聽說過的MVP的概念，最小的最有效的產品，這樣一個概念。那么從一個最簡單的，可以滿足用戶需求的，達到我們市場目標的產品開始，我們不斷的對它進行優化，進行改進，知道它越來越好，達到一個最優的效果。

那么要注意的一點是，MVP的做法，第一個方法是不對的，最上面那種。MVP說我現有一個很完美的設計，然后我先做它的一部分，做一個輪子不能用，做兩個輪子還是不能用，做個車架子也不能用，把他們堆起來才能用，這不是MVP的方法。這樣的方法就跟傳統產品一樣，就跟你做一個牙膏或者手機一樣。你先做個設計，然后把它做出來，然后再推向市場，這樣的話你就失去了我們剛才所說的產品優化的迭代的效能，你就變得跟傳統企業一樣，你的優化會變得愈加的困難。

那么另外一種方式也更加不可取，就是你先做一個滑步車，然后再做一個自行車，把它變成摩托車，最后變成汽車，也就是說你總是在改變你的產品形態。那么這個并不是一個不可以的迭代方法，但是它的成本太高，就是它是一個非常糟糕的路徑。正確方法就是下面所說的，你現有一個產品，然后不斷的對它進行改進，當然改進的時候要通過試驗的方法，這是我們后面再提的。

11、優化中常見問題

a)獲取優化試驗結果，試驗結果準確度、可信度可能不準

舉例：我們做了一個游戲的產品，很小的一個產品，然后我們發現有一些玩家愿意在上面付費，我們希望能提高玩家在付費環節的轉化率，我們做了一個嘗試，做了嘗試之后呢比如說我們推給500個玩家，我們發現這500個玩家付費比其他的用戶要多，那么這一定說明我們新推出的這個方案好么，我們新推出的這個碉堡好么？不一定，可能你做實驗的這500個人里面你恰好圈中了王思聰，他的下單率遠遠大過其他人，那么你的這個試驗結果就不準確。那么剛才所說的那種迭代方法就沒有真的產生效果，因為結果可能是不對的，它促使你做出了一個錯誤的判斷。

b)試驗結果分析算法置信區間的收斂速度，試驗的敏感性可能不敏感

另外如果你的試驗流量，試驗分析，還有試驗的設計不是很理想的話，那么你通過一個置信區間的分析你會發現，你統計的結果從概率角度講可能會非常的不準確。舉例來說，你對比兩組數據，實驗組和對照組相比，結果可能是-200%到+500%這樣一個變化的區間，你根本拿不準這個迭代使你的產品變好了還是變壞了。這也是另外一個痛點。

c)大量優化并發試驗，針對特定用戶群體的定向試驗，分層試驗、交叉試驗等等可能很繁瑣

如果你要去做迭代的話呢，你要大量去做嘗試，做改動，但是大量的改動，如果你同時上線，或者分開給不同的用戶去體驗，可能會遇到一個苦難，就是他們試驗的結果會不會互相干擾，試驗的用戶會不會之間有一些問題，那么這也是一個挑戰。

d)管理海量優化試驗，包括海量歷史數據與經驗，細致的試驗數據分析可能很復雜

最后當然也包括你如果能夠管理海量數據。當然大家都是產品經理，都會有自己的idea。你可能有10個想法，10個對你產品優化的想法去上線，一個公司如果有3個就是30個，如果有10個產品經理就是100個。那么過了兩個星期你還會記得你做了哪些試驗么，這會很痛苦。

12、優化的方向，可以優化的地方

說了這些，我們要慢慢引出我們核心的概念，其實，我們優化的目的很明確，剛才已經說過了，留存轉化，用戶活躍轉化行為，比如購物車的添加購物車的退出，功能使用等等。然后，你可能要做的優化迭代的方向就是你的各種創意，你的各種想法，你根據用戶行為作出一些判斷。比如說在UI層面，在用戶體驗層面做了一些改進。比如說你的頁面布局，有的時候這個東西影響非常的大，你是把用戶的4個籃子放在最上面，還是最下面，還是左邊還是右邊，這都很有影響。當然文案也很重要，如果我現在看到這個案子上面寫的是現在申請，我打賭它的轉化率肯定不如點擊領取大獎的效果要好。

13、優化中需要注意的事情

推薦的算法，產品的新功能這些，都是我們平時就想到，就要去迭代的東西。但是這些迭代，和我們前面所說例子的一樣，到底能不能產生優化的效果呢，到底能不能提升訪問率UE，點擊率，支付率等等，那么我們就需要注意什么呢？我們需要科學的流量分隔，我們要讓實驗組實驗對象具備典型的用戶特征，不要出現像王思聰這樣奇葩的被采樣的用戶做實驗。另外我們需要一個可信的能夠快速收斂的95%置信區間，他能告訴我們這個迭代能夠帶10%的增長，這10%的置信區間是從5%到15%。那么我就確定了我至少有95%的概率可以提升5%，另外你也可以考慮在試驗當中做人群的定向，比如說我只對上海的或者深圳的女性用戶做試驗，我能從中學到什么東西，能對我的產品有什么啟發。

二、優化的利器：AB測試

1、你的測試真的是AB測試么？

上面所說的所有都是為了引出AB測試這個概念，AB測試就是Always be testing 。它的概念就是一個科學的測試。它能夠幫助我們去合理的采樣用戶流量，帶有一部分隨機性，幫助我們去實現實驗流量的采樣，同時支持很多的變量參與實驗，我們可能在UI層面要做實驗，我們可能在促銷或者活動上要嘗試，我們到底上不上一個大轉盤。我們當然也會在后端的派對算法和推薦算法上做嘗試，他們都可能影響我們的效果，這些變量的影響會怎么樣，需要一個科學的方法去追蹤，我們要知道到底哪個變化產生了什么樣的影響，可以幫助我們產品經理在管理產品的時候可以很容易的去選擇到底哪個版本你想交給你的用戶去體驗，然后當然還有實驗時間的問題，就是說這個實驗跑多久才可以做出決策，這其實也是AB測試需要解決的問題。就是如果我們不做AB測試，我們直接上線了，然后過了兩天，我們覺得這個效果，數據不錯，就真的數據不錯么，真不一定，這后面會說。當然也有收斂區間置信區間等等問題，這都是AB測試要解決的。

2、優化方式

其實AB測試的方法論大家在前面已經知道，有一些概念，但是更重要的是把它集成到我們產品研發，測試，上線，運營的各個環節中去，這個才是在Google的秘訣所在。假如你有了AB測試這個工具，集成了SDK或者怎么樣，你總是在設計一些新的迭代方案，就是我剛才說的UI能不能變一變，按鈕的位置能不能變一變，文案能不能變一變，上不上一個促銷等等，這些方案都可以灰度的上線，就是并不是所有用戶都體驗的，然后你去設定實驗流量，比如方案A讓1%的用戶去體驗一下，方案B讓2%的用戶去體驗一下，然后這些放進實驗組這些用戶他們的數據會被實施長期的采集下來，然后根據這個實驗數據我們會知道，有些方案特別的棒。比如說我們改了一個文案，使得用戶下單率提高了，那么我們就可以把它發布，讓更多的人體驗這個文案。如果它不好，那我們就要打回去重做，我們就要去思考為什么這個數據和我們想象的不一樣呢，為什么他們沒有提高呢，為什么沒有增長，那么我們該怎么從中吸取經驗教訓，然后讓它不斷的去新的迭代。

3、AB測試與統計分析的差異

接下來我要說一些理論性的東西，就是AB測試集成到我們系統里面，是正確的方法，為什么正確呢，它與我們做統計分析，它與我們做后驗的數據分析，有什么區別呢。

先驗性

如果我們每次改版每次迭代的是都沒有經過AB測試就直接上線了，那會發生什么事情呢，那么可能一個不太成功的改版不太成功的策略被上線之后就直接帶來了損失，比如說降低了20%的用戶下單量，那么如果真的發生了這樣的事情的話，我們后驗的話就產生了不可彌補的損失，但如果我們做AB測試我們可以怎么樣呢，我只采樣一部分的用戶，比如1%的用戶來做這個實驗。

舉例來說，我們遇到過一個旅游類的產品，它在他的注冊環節做了一個小小的改版，這個改版也經過一些測試，但是他沒有想到的是對失眠上的某些安卓手機會有一些不過注冊流程上會有問題，那么他每天會花10玩塊錢去采購流量，會吸引一萬個用戶來注冊，結果因為這個bug的原因，有40%的用戶想注冊而注冊不了而流失掉了，意思就是這10萬塊錢里面就有4萬塊錢浪費掉了，但是他的這個心的改版通過我們AB測試來驗證一下，用1%的流量來驗證一下，雖然也有40%的損失，但是它是1%的40%，換句話說他不是損失4萬塊錢，而是損失400塊錢，這就是先驗性的意義所在。

并行性

也就是說我們真正AB測試也好，產品優化也好，真正的使用場景并不是說我現在有一個迭代方案，然后去先驗證一下然后決定是不是上線，不是這樣的。顯示當中你要做到優化，你必須，就是我們剛才說到的優化問題，解的空間是無限的，我不能一個個點著找，我必須同時找10個點，20個點，100個點，我要同時上線很多很多可能的方案，然后對它進行測試并行，而不是說上一個，不行再上一個，那樣的話我一個月只能去驗證2、3個idea。但是如果有了并行性，AB測試同時上線，1%的用戶嘗試這個方案，1%的用戶嘗試另一個方案，你就可以同時檢驗20個方案，100個方案，1000個方案都是有可能的。

科學性

是只改變一個條件的單盲試驗，如果你的AB測試的試驗則和對照組并不只是改變了一個條件，這個條件就是你想做的試驗，你想迭代改版的東西。如果不是這樣，比如說實驗組的用戶和對照組的用戶還有一個另外的區別，比如說我們剛才實驗組里有王思聰，或者實驗組用戶享受了一些促銷和優惠，對照組沒有，那么你的實驗結果就不科學不可信，它對你沒有幫助，那么這樣說AB測試索要解決的問題，這也是AB測試的價值所在。

4、AB測試提高效率

回到剛才的問題，你沒有科學性，并行性，先驗性，會發生什么呢，可能你第一次嘗試AB測試會覺得ok，我需要去花很多是人力精力，寫很多代碼去做AB測試，花了一些時間，得出了一些結論，一個版本點擊了100下，一個版本點擊了97下，那到底是提升了降低了還是沒有變呢你也不知道，這樣你的優化就無從談起。正確的使用方法就是你有一套強大的工具，然后你可以同時上線很多很多迭代的方案，可能在一周的時間內就驗證了100個想法。其中可能有60個70都是既不能帶來增長，也不會降低的，可能會有十幾個會跟你之前想象到的完全不同，它會降低你的營收，降低你的轉化率，可能只有二十個或者十幾個能夠提升你的轉化率，但是你就把這十幾個發布出去，就可以產生效果，這就是使用AB測試優化的方法。這個是Google天天所做的事情。

5、自建的復雜程度

如果你能夠這樣去做，你有一套工具可以輕松開展AB測試，它除了能幫你去優化之外呢，他可以幫助你更快的改版，更快的上線，可以一鍵發布給所有的人，一鍵回滾，避免出現線上的事故，也可以實施的獲取實驗結果，加速制定期間的收斂，幫助你更快的決策，支持大量的并發試驗。輕松管理海量的實驗。如果你有這樣一套工具，你的優惠就變得異常的強大，但是如果你需要這一套工具的話呢，我的建議是你不要自己去造輪子，我們AB測試就在做這件事情，AB測試這樣一個工具，那么我們開發了一年半的時間，才剛剛基本沒有bug了，系統比較完善，我們有強大的功能了，但是后面還有很多很多未來的挑戰等待著我們，所以經驗就是這個事情還是很復雜的。

6、國際頂尖增長黑客的方法

然后說一說我的老東家，硅谷的一些公司是怎么利用這些工具實現優化的。

Airbnb

他們是對AB測試實踐非常非常精細的一個公司，它從第一天開始，所有的重要頁面，關系到轉化率的。比如說注冊頁面，注冊頁面轉化率很重要喔，通過AB測試的方法來迭代，怎么做呢，它的每一個改版，每一個調優都首先灰度發布到1%的用戶，比較大的可以先發布到5%的用戶，去看看數據，用戶的下單，用戶的留存，用戶的注冊率轉化率，根據這個來決定是上線還是打回重做，它就保證了Airbnb總是在不停的增長，不停的優化。

Google

是最早實現這件事情的公司，現在每個月可能都會跑幾百個實驗，AB測試，從中找到實解，當然主要是搜索結果和廣告的點擊率，這是特別重要的一件事情，通過這樣的事情呢，google實現了每個月增長2%，不要小看這個數字，實際上google通過這樣每年可以達到20%增長率，它就可以一直超過華爾街對它的期待，那么它的股價就可以不斷的攀升，不要小看了這個數字。開個玩笑話，微軟，蘋果并不能使用大規模AB測試這樣一個黑科技來做迭代，為什么呢，微軟它的一個重要產品，比如說Xbox，它想Xbox的配置做一個AB測試時不現實的，蘋果的iphone也沒有辦法真的去做AB測試，它就沒有辦法保證每個產品電腦推出迭代都可以優化，一旦它這個季度沒有實現優化，沒有實現增長，它的股價就會暴跌，微軟和蘋果都曾經出現股價腰斬的情況，但是google從來沒有出現過，

Facebook

在移動端每次的升級改版它都會把未來6個月要做的各種改版，全部都灰度的發布給用戶，用你1%的用戶試試這個改動，用1%的用戶試試那個改動，只有對它轉化率提升的，它才會發布出去，那些不好的就不會去發布。

知乎等

其實國內也有一些企業在踐行這樣的實驗，比如百度的搜索，大眾點評的推薦系統，還有知乎的運營，知乎我就說個例子，知乎他們通過數據發現如果一個用戶在知乎上回答了超過3個問題，他就會比沒有回到夠3個問題的活躍度高一倍以上，它就會覺得一個用戶回答3個問題很重要，那怎么辦呢，它就用AB測試，篩選了一部分新用戶把它拆成試驗組合對照組，對實驗組的新用戶就會用他的運營人員，比如說是男性用戶，就會偽裝成美女去邀請你去回答三個問題，邀請你回答一個問題，回答了，再邀請你回答，再邀請你回答，等你回答了3個問題她就不邀請你了。然后呢，他就會AB測試對比，用了這個策略的新用戶和沒有用這個策略的新用戶哪個更活躍。實驗結果非常好，用了這個方案能夠帶來轉化率的增長，能夠提升，所以它就發布給所有用戶。如果你是新注冊的知乎用戶，你相信我，你一定會被邀請回答3個問題。

7、高效AB測試七條黑客經驗

接下來，因為AB測試這件事情很復雜，所以我們在這里不可能展開說的特別細，但是有一些經驗確實非常通用的，這個我們在其他場合也分享過，但在這里大家還是可以去再次感受一下，了解一下高效AB測試七條黑客經驗，

效果驚人：你產品的一些微小的改動，有可能就造成對KPI的巨大影響。有的時候一個顏色的變化就有可能帶來100%的分享率的提高，都是有可能的。像我們自己的客戶，在他們自己的教育類網站，他們注冊改了一個文案，就提升30%的學生注冊率。
耐心測試：但是大多數會的改動并不會大幅度提高KPI，就像你做100個實驗可能6、70個都沒有什么用，這是非?？赡艿?。
Twyman法則：而且對于這件事情還有一個twyman提出的法則，跟墨菲定律一下很搞笑，說的是凡是看上去很出人意料的圖表，通常都是因為數據統計錯了，
你很不同：另外產品之間往往可以參照的東西不多，你去復雜他人的經驗往往沒有用。開玩笑說如果京東把亞馬遜的一些策略拿過來，說不定有點用，但可能不好，如果抄淘寶的，可能會是災難性的后果。
速度是關鍵：但是任何能夠加速用戶響應時間的改動，都會給KPI帶來提升，一定要記住了如果你的技術團隊有能力讓你的Html5頁面變得更快，或者讓你的網站打開的更快，或者APP響應的更快，就讓他們全力以赴去做，給他們無限的支持，因為這一定會給你帶來正面的提升。
關注產品的質量：你想要在一個環節中提升點擊率其實不難，就像我說的點進來是大獎，或者你在推送消息的時候說您有一個大禮包待領取，或者您有一個獎待領取，這種方法往往能產生一個很好的點擊率?；蛘吣阍陔娚唐脚_，你的展示方式是一個大美女，那么一定往往能提升你的點擊率，但是這件事情對你的產品并沒有什么本質的幫助，他們不會有實質性的幫助，更重的是你要考慮的是真正核心的用戶轉化率在哪里。我們有個定義叫Core Action，就是你的用戶到底什么樣一個行動，這件事情的轉化率最重要，你要搞明白。對Facebook來說他的轉化率最重要就是他去發布了一個行動，或者是加了一個好友，這件事情可能特別特別重要。對google來說可能最重要的轉化率是用戶點擊搜索結果這件事情很重要。對Uber來說，可能用戶召喚一個行程可能特別重要，一定要關注在這個產品質量上面。
快速輕量迭代：另外在做迭代的時候一定要做一些輕量的，做一些小的改動，做一些小的實驗，千萬不要去做大實驗，因為這種東西往往是弊大于利的。你做一個大的改動，最糟糕的情況是你把用戶群都變了，原來很喜歡的用戶他走了，多糟糕啊，來了一些新用戶你指望他們重新填充你的retention留存率是挺難的一件事情。另外你一個大的改動，你很多地方都改了，那么你的實驗結果也沒有辦法歸一，沒有辦法去幫助你去積累經驗。你確實在優化的解空間當中的一個點跳到了好遠好遠地方的另一個點，那么中間這些點會有什么變化你一無所知。但是你用輕量迭代就能幫助你去積累更好的經驗了。
用戶數量是基礎：最后，用戶數量也是個問題，如果你只有100個用戶，可能AB測試并不是一個適合的黑科技對于你來說，你可能需要更多的是用戶調研，用戶分析。只有當你有了1000個日活的時候，可能AB測試這種迭代的方法才有效，否則你的實驗結果是不準確的。開玩笑說，如果你只有兩個用戶，一個人說你好一個人說你不好，那么你信誰呢，那么AB測試對你是沒有用的。

8、優化指標的設計

還有一點也很重要，就是我們剛才所說的優化指標的設計，我們剛才列舉了很多PV，UV用戶留存時間等等，但是在每個階段在每個我們實驗設計里都會有一個不同的優化指標，這是很可以理解的，也是正確的。但是你要想一個問題是，你的真正的遠景目標是什么，我們管他叫北極星。這個北極星很重要，就是你的所有努力其實要朝著北極星進發，然后你每一次優化的時候你的優化指標都應是拖動你的發展方向更靠近這個北極星，他不一定時要直直的去的，它可以是歪著去的，但是他歪著去之后呢，你要不斷去調整你的優化指標，讓他越來越靠近你的北極星。我覺得最成功的產品在這方面的把握是最好的。不忘初心，還是剛才那個觀點，你不要總是想著一個細節的點擊率，而是你要有一個更遠大的目標，那么在這里core action很有用。

案例

墨跡天氣

墨跡天氣，它是一個很工具類的app，他的用戶體驗很不錯，我們公認他是一個非常棒的產品，但是他依然很關注轉化率的提高，比如說分享，他希望大家能夠分享更多墨跡的故事，天氣的故事，天氣的內容，他的分享的圖標，哪怕是一個小小的圖標的變化，也會帶來轉化率不同，比如像這個案例里面，三種不同的設計對比原始的分享的設計，方案三能夠提高18%的分享率，其實非常的高，他可能每天有10萬的分享就帶來1萬的增長，這是不得了的一個事情，然后你會看到很有意思就是這個置信區間，有時候也是比較寬的，當你的實驗流量不多的時候，比如說方案二提升了5%，也是提升的，但他是從-1%到+10%，那么就不是那么確定性的結果，這是一個小小的例子。

111

滴滴

滴滴也是我們一個很有意思的客戶，對滴滴來說他需要的轉化率不一定是打車的人，他不需要很多打車的人，但是他需要很多很多接單的司機。他通過AB測試也可以提升司機的注冊率20%以上，通過嘗試不同的設計和文案，當然，AB測試幫助他提升效果是一方面，真正提升了轉化率，但是另一方面，也可以通過這個試驗更好的理解自己的用戶。

他最左邊這種招募司機的方案為什么轉化率不高呢，我們一分析，通過試驗我們理解了，對比后面兩個方案，第一個方案他的設計不明確，就是他到底是招募車主還是招募打車的人，不知道。可能有很多誤點進來的人，他可能以為是招打車的人。

那么中間這個版本就會好很多，“每天跑一單，油錢輕松賺”，鼓勵你來做滴滴的司機，賺錢。但是也不是那么完美，因為可能很多有興趣的人點進來發現我要上傳行駛證，上傳駕駛，覺得我當這個司機好麻煩，沒有形成最終的轉化。

那么最后一個為什么效果是最好的呢，因為車主招募這個事情很明確，這個產品，這個設計就是讓大家知道就是招司機的。你可以來做滴滴的車主，可以來賺錢，這些人目的很明確，他來了轉化率救會比較高。所以你就會看到一個很有意思的現象就是做了AB測試產生了效果并且獲得了經驗，這個對我們產品經理還是更重要的一件事情。

樂動力

最后一個案例是我們的樂動力，這個案例就是他鼓勵他的用戶去下載這個跑步的app，那么這種方式，為了統計學，AB測試更加準確，它會考慮看這個時間，這個過去兩周發生的時間，紅色的方案一直都比其他的更好，他就知道了這個設計是更好的。

以下是小伙伴們現場提問的一些問題：

問：優化之中的置信區間是什么意思？

答：置信區間是一個很重要的概念，他是和AB測試緊密相關的，是用一種統計學的方法，來分析實驗組和對照組連個隨機過程的采樣的數據。他們通過對比他的采樣數據，對這兩個隨機模型的參數進行一個統計學意義上的對比，然后最后形成一個一定置信度的變化區間。

其實如果你不是AB測試，而是直接上線一個東西，再下線一個東西，根據數據來分析，也會有置信區間的問題，但是一般那種置信區間會很寬很寬，意思就是你基本上不知道結論是什么。那么一個AB測試的置信區間，他往往是這樣一個概念，就好像剛才我們ppt里舉的例子，就是說對照實驗組使得你某一個指標的轉化率提升了15%，然后他的95%置信區間是從10%到20%，就是說你把這個實驗組版本方案迭代，把這個方案發布給所有的用戶，那么你有至少95%的概率可以提升10%以上，而且有比較大的概率可能是最終提升了15%，也有一定小概率會提升20%。這就是置信區間的概念。

當然你也有5%的概率這個變化不在提升的這個區間之內，也是有可能的。在工業上，我們一般都會有95%置信區間。舉個例子，如果你看到你的實驗結果置信區間是從-3%到+3%，那么很可能發生了什么呢，你的這個實驗版本既不能給你帶來增長，也不能帶來下降。如果你是3%到6%，那么你可以基本確定這是一個好的優化方案。他能帶來增長，如果他是-5%到-2%，那么這個方案千萬別上線，他會帶來負增長。

問：AB測試一般要測試多少天，積攢多少樣本才能得出結果？

答：積攢多少樣本才能得出結論這件事情和置信區間也是相關的，置信區間要足夠窄才能說你得出了一個比較好的結論。積攢樣本這件事情取決于幾個方面，一個是試驗流量本身，一個是轉化率本身，比如說你的轉化率非常的低，你只有百分之零點零幾的轉化率，那么你可能需要非常非常多的樣本才能夠做出有效的測試。

但是如果你的轉化率是50%，那么可能你有1000個樣本你就夠了，跑一個小時就夠了，但是AB測試測試要持續多少天這件事情我要提一下，AB測試一般要持續7天，或者14天，這是是因為AB測試是只改變一個條件的單盲測試，就是你只改變一個條件，你的實驗本身其他都不變，你當然希望整個試驗時間覆蓋用戶的周中的行為和周末的行為，他星期一到星期五的行為可能和星期六星期天不一樣，所以7天是一個比較理想的時間。

當然如果你想更確信，最好跑14天，如果你的流量比較少的話，你可能要跑更長的天數。然后你怎么得出結論，你就等這個置信區間收窄，窄到一定程度你就可以說ok，好了，可以上線了，或是可以下線了。

問：Facebook是如何做Ab測試的？

答：Facebook在發布新App的時候，會對未來幾個月想做的做AB測試，那么是怎么做的呢，Facebook做了一套系統，gatekeeper和airlock，他是大概花了2年時間，40個工程師，借鑒了google的一些想法，又解決了移動端的一些問題。有了這樣一套系統之后呢，他的產品上線的流程也深入的集成了AB測試，他在需求評審階段就會產生各種各樣的想法，各種各樣可能的功能，各種各樣的變化，然后交付實施，這些實施都是通過gatekeeper的方式上線的。也就是灰度的發布給用戶，然后再用airlock的方式放流量進來，讓一部分用戶去嘗試新的功能，只有那些好的功能才會保留下來，在下一次app改版的時候會正式的全面的發布給所有的用戶。

而那些不好的功能可能就關閉，不上線，然后再下一次迭代的時候除了會把上一次成功的版本全部發給新用戶，還會添加一些新的實驗進去。所以他每次迭代都是把新的實驗發布出去，然后不成功的實驗打回去重做，然后再加一些新的實驗進去，這就是他每次迭代的流程。

問：Web產品頁面優化可以用AB測試么？

答：當然可以，google天天在做，很過國內的公司也在做了，比如說攜程也在做，

問：AB測試接入SDK是如何展開的？流量來源如何選擇？

答：對于AB測試比較陌生的產品經理來說可能會比較糊涂，那么其實你接入了SDK，無論app還是網站，你接下來的事情就很簡單，比如說你的一個新想法要上線了。你可以通過我們這個SDK可視化編輯，改文案，或者你的工程師可以把這個功能通過我們的SDK灰度的集成到上面，同樣還是一個包或者一個網站，但是不是所有用戶都會看到他，你想讓多少用戶看到他。

問：AB測試在生產環節是加白名單的方式還是直接測試環境上測試的。就是拿一部分用戶試試看，然后再上線？

答：不是這樣的，你說的這個呢是QA的模式，還是一種傳統的方法，那么這種QA的方法就和傳統企業一樣，像微軟一樣，他先做Xbox原型，然后再讓一些微軟的同事或者測試用戶試用，試用玩家覺得好，然后他再大規模量產，但這種方式是比較落后的。真正的AB測試這樣一個強大的工具，它強大在哪呢？它強大到可以讓所有用戶來直接參與你的實驗。比如說你有100萬用戶，你劃1%就有1萬用戶會體驗你這個新版，他們是精心篩選出來的，他們可以去嘗試這個新版，他們產生的AB測試數據是可信的。他提升了5%就是你最后發布了就可以提升你所有收入的5%。

如果他下降了10%，那么你就不要讓他上線，如果上線了，你可能有很大的概率帶點來10%的損失，這就是AB測試強大或者黑科技的點，就是為什么google 把他作為秘密武器，我們希望把這個秘密武器變成一個常規武器給大家用。就是他不是那種拿一部分用戶來試試看，然后再上線，這種方法是不行的， google也做過這樣的實驗，google做過一個產品叫google plus，社交產品，它給google所有的員工開放，發現數據很好，活躍很好，比Facebook強多了，然后他發布給所有用戶怎么樣了呢？他連注冊量都不夠更不用說和Facebook比活躍度了。所以這就是AB測試的意義或者他強大的地方。

希望大家能夠不斷的實現自己產品的優化，實現增長。

本次分享PPT下載鏈接: http://pan.baidu.com/s/1nvrmv8l 密碼: r5hy