A/B測試:數據優化產品迭代的必備良劑

4 評論 16940 瀏覽 76 收藏 8 分鐘

產品設計產品優化中的每一處改動都應該經過數據精確的衡量。

在講數據驅動產品優化前,我們先來回顧國內互聯網的幾個階段。錢天白教授在1987年發出的第一封電子郵件,揭開了國內互聯網發展的序幕。

互聯網在中國的發展歷程可以大略地劃分為三個階段:1986年6月到1993年3月的研究試驗階段,1994年4月至1996年的起步階段,以及1997年至今的快速增長階段,這一階段誕生了陳天橋、馬化騰、汪延等IT 大佬。

略過前兩個階段,我們來細看快速增長階段。

在1997-2004年前后互聯網發展的早期,互聯網商業化主要是受概念驅動,出來一個全新的概念,似乎很快就能火,因為可選擇的產品不多,用戶群對互聯網也缺少認知。

經過了大約七八年的“浸淫”(原諒這里用了這么一個詞),2004年開始國內互聯網逐漸變成了受產品驅動,這一階段一直持續了將近十年?;ヂ摼W迅速從藍海變成紅海,要想從激烈的競爭中脫穎而出,各種產品不得不重視用戶體驗,這期間“人人都是產品經理”,“人人都想做產品經理”。這一階段的發展不得不忽視的是中國的人口紅利和智能手機的普及。

2015年智能手機出貨量的飽和和國內人力成本的增加,使得大多數的公司不得不思考產品優化中的投資回報率,這一階段也就是數據驅動精細化運營階段。這一階段有這么幾個特點:

  • 流量成本越來越高
  • 想依靠人口紅利帶來用戶增長越來越難
  • 不得不思考怎么去做精細化運營,讓花出去的每一分錢都帶來效果

在人口紅利不再,流量成本極其高昂,總體網民用戶數量一定的情況下,讓見到產品的用戶更多的留下來,帶來更大的轉化率,似乎是更應該思考的問題。

在產品曝光給用戶之前,想一下怎么才能讓產品對用戶來說更有“眼緣”呢?

有“眼緣”之后怎么才能“要到電話”?

有了電話又怎么才能跟用戶有更大的“約會”機會?進一步的發展呢?

產品運營漏斗的每一步,都存在優化的空間,在有限的投入下獲取更大的優化率,是數據驅動產品運營要做的事,此謂產品運營之道。

道是戰略,不應該懶惰,術是執行,更要勤勉。 A/B 測試就是數據驅動產品運營中的術。

一般場合出門前,我們會對比幾套衣服,到底穿格子衫好還是穿 polo 衫,或者極客范的你會穿大 T-shirt 。這個過程其實就是一次簡單的 A/B 測試,包含了A/B 測試的核心思想:

  • 多個方案并行測試(對比了幾套衣服);
  • 每個方案只有一個變量不同(只對比了上衣);
  • 以某種規則優勝劣汰(最終穿了最符合你形象氣質的衣服)。

A/B測試是指在所有條件都相等的條件下,只改變一個條件,從 A 改成 B ,然后對比兩者產生的效果的不同。單一變量決定了 A/B 測試的科學性。

對應到技術產品里, A/B 測試的方法就是將產品的用戶流量分割成 A/B 兩組,一組試驗組,一組對照組,兩組用戶特點類似,并且同時運行。試驗運行一段時間后分別統計兩組用戶的表現,再將數據結果進行對比,就可以科學的幫助決策。

單純的講 A/B 測試是如何的科學,對于運營與產品增長是多么有效看起來好蒼白,那么我們通過更多的案例來講。

  • ?Google 每個月從上百個 A/B 測試中找到十幾個有效方案,月營收提升2%左右,10億美元的規模
  • 廣告位左移一個像素帶來 X %的營收,左移兩個像素帶來 Y %的虧損? 任何產品的優化、改動都需要AB測試才能上線

  • facebook 6個月內所有產品全部線上灰度發布,通過不斷進行用戶的流量分割的方式進行試驗,獲得無 BUG 口碑

滴滴出行在滴滴司機招募的著陸頁上,通過嘗試不同的設計和文案,使得注冊率提升了20%以上。

需要注意的是,不是每一次 A/B 測試驗證過的改動都會帶來增長,但 A/B 測試確確實實能幫你排除掉了不好的策略。通過 A/B 測試驗證好的改動才通過上線,這就保證了產品迭代中的小步快跑里總是在對產品做優化和提升。

“從現在開始的10年內,當我們回顧大數據時代是如何發展時,我們會震驚于以往做出決策時信息的匱乏?!?/p>

做對的事情,做 ROI 最高的事情,在避免犯錯的情況下最大化優化產品運營漏斗,你需要在產品體系里引入 A/B 測試,拍腦袋的決策已經失效,產品優化中的每一處改動都應該經過數據精確的衡量,畢竟:“ If you can’t measure it, you don’t know how to make it better ! ”

 

來源:http://www.36dsj.com/archives/60383

本文來源于人人都是產品經理合作媒體@36大數據

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 測試用例

    來自河北 回復
  2. 滴滴這個也是灰度的嗎 還是迭代上去的

    來自上海 回復
    1. 滴滴是先小流量A/B測試,最后全量上。

      來自陜西 回復
    2. 滴滴的這個不算是ab測試吧

      來自北京 回復