中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

編輯導讀：A/B測試支撐著產品的高速迭代發展，同時也沉淀著海量的最佳實踐和方法論。本文作者從自身工作經驗出發，講述如何更專業地做A/B測試，如何拿到更加置信的數據結論，希望對你有幫助。

A/B測試支撐著產品的高速迭代發展，同時也沉淀著海量的最佳實踐和方法論。筆者在某頭條做C端產品時，做了大量的A/B實驗，快捷測試驗證新功能。其中在2020年8月份，1個月做了12個A/B實驗，帶來明顯的OKR指標提升，當月獲得績效最高檔（蓋章可查詢）。給大家整理了一些A/B實驗方法論，分享給需要的同學。

本文講述如何更專業的做A/B測試，如何拿到更加置信的數據結論。后續會陸續給大家分享如何思考設計新的功能，確保A/B實驗的正向率，避免成為A/B實驗的終結者（結論總是負向）。

一、什么情況下需要做A/B實驗？

大多數A/B實驗建立在：當不確定哪種方案更有利于達成核心目標，不確定新的方案會不會對核心指標之外的其他指標造成負向影響，我們通過做A/B實驗來進行測試。

關于A/B實驗的功能場景，我們看個簡單的例子：

場景還原：優化前的商品詳情頁展示商品價格以及該商品可以用的優惠券，如何提升商品的交易轉化率呢，產品經理想：幫用戶把券后價直接展示出來是否能提升轉化率，能提升多少。

由于商品詳情頁是電商交易鏈路的核心頁面，直接全量上某個功能，萬一效果不好則影響巨大。通過切一部分流量進行A/B測試，密切觀察實驗數據、灰度發布是最佳策略。

大家熟知的今日頭條、抖音、西瓜這些產品的名字，都不是產品經理或者業務負責人拍腦袋經驗主義決策的結果，而是把不同名稱的應用包上架到應用市場，看哪個名字的下載率和分享率最高，就用哪個。本質上通過A/B測試的思想，把產品決策權交給了用戶。

二、怎樣設計A/B試驗？

A/B實驗的整體流程：

2.1 確定實驗目標

確定實驗目標即以什么指標衡量實驗組的好壞。

提升頁面轉化率：例如電商行業中，提升列表頁到商詳頁的轉化率，商詳頁到訂單確認頁的轉化率，訂單確認頁到交易成功頁的轉化率。在家裝行業中，最常見的是提升留資頁面內“預約裝修”提交按鈕的點擊轉化率。
提升用戶留存：提升用戶在平臺內的次日、3日、7日等留存率

在觀察實驗組數據指標時，以一個核心指標為主，同時需要觀注其他相關指標，全面衡量，得出結論。

舉個栗子：筆者在愛奇藝任職期間，為了提升核心指標“人均VV（人均播放次數）”，產品做了“自動播放”功能。短期內核心指標顯著提升，但由于自動播放功能造成用戶反感，用戶留存指標受到了影響。為避免長期造成用戶流失，該功能下線。

2.2 設計實驗

2.2.1 設置實驗組和對照組

• 唯一變量：實驗組和對照組的設置采用控制變量法，實驗組和對照組設置本次實驗想要驗證的唯一的變量，其他條件均不變。
• 同層實驗：如果有多個實驗在進行，選擇同層實驗，避免分層實驗。因為同層實驗互斥（用戶只會在一個實驗組），而分層實驗可以復用流量（一個用戶可以命中多個實驗）

以上是基礎的流量分層設置，A/B實驗成熟的情況下，還可以進行獨占實驗和長期對照。

獨占實驗：某些實驗層專門為某些特定的實驗準備，其他實驗不可使用。

長期對照：設置一部分用戶做長期對照，不參加任何實驗，可以評估多種實驗疊加后的效果。

例如筆者所在部門，有幾十個實驗專項層，筆者獨占3個，專門用于做交易鏈路相關的A/B實驗。

流量設置：給實驗組和對照組分別設置一定的流量，這是做實驗的必要準備條件。

例如：如果實驗分對照組和實驗組2個組，選擇“層1”取40%的流量，每組20%。如果實驗分3個組，對照組和實驗組1、實驗組2，那么在“層1”取60%的流量，每組20%。

另外，初期每組設置多少百分比的流量，這個要參考當前頁面平均每天有多少UV，每組至少保證2000個以上UV，實驗相對置信。

2.2.2 空轉實驗

空轉即A/A實驗，在成熟的實驗平臺可自行設置。

例如：設置7-8組實驗流量，空轉3天，監控PV/UV、轉化、留存等核心指標，看有無明顯差異。取2組最相近的用來做實驗，其余的釋放掉。

空轉可以明顯地發現抽樣不均，去掉因為抽樣不均帶來的實驗影響因素，提升實驗置信度。

2.2.3 反轉實驗

• 反轉的前提：A/B實驗根據需求功能不同，實驗進行的周期不同，短則3-7天，長則1個月。當觀察實驗結果正向的情況下，可對實驗進行反轉。
• 反轉操作：將實驗組和對照組進行對調，實驗組變成對照組，對照組變成實驗組，再次觀察實驗結果。
• 反轉分析：如果反轉后的對照組和實驗組相比是正向，那么實驗成功，可全量。
• 不可反轉的情況：如果A/B實驗觀察的結論為負向，切記不可進行反轉實驗，會損傷原對照組的用戶體驗。

三、如何分析A/B試驗

舉2個例子進行說明：

實驗一：對最近7日流失新用戶進行push召回，以提升新用戶留存。

由于目標用戶群大多為白領，早上7點在吃飯或者通勤，很少有機會打開APP。而中午到下午有些許的休息時間，推送效果最好。

實驗二：對秒殺商品列表頁價格樣式做優化，以提升秒殺頻道轉化率。

通過優化秒殺商品原價展示樣式，突出商品原價的展示，進而強調秒殺頻道的商品的價格差，提升用戶購買轉化率。

四、A/B測試的價值

數據驅動創新，數據驅動增長，A/B測試是其中核心的工具和引擎。字節跳動的實驗平臺，每天新開的實驗有1500多個，同時運行的實驗有上萬個。上到中高層管理人員，下到一線產品和運營人員，大家的普遍共識是：A/B測試是一切決策的前提和基礎，用數據說話。

業務創新：通過持續的功能優化打磨，累積創新效果，逐步形成迄今最優的產品形態，同時可將優秀的功能模塊抽象沉淀至通用化組件平臺。

筆者曾將驗證過后最優的產品功能，抽象為可配置通用組件，沉淀在樂高平臺（自助搭建h5頁面的平臺，類似京東的通天塔），供不同業務使用，從而將產品效應發揮到最大。

收益提升：在電商/金融等交易相關產品中，通過優化交易鏈路可直接帶來可觀的經濟收益。

管理提效：通過A/B實驗精準衡量新功能產出，為管理層提供準確的數據依據和科學度量。

五、寫在最后

A/B測試是一個非常有用的工具，它很強大，但它僅僅是一個工具。產品經理在日常工作中，應該是帶著想法、思考，然后再去運用它來幫助驗證。張一鳴在2019年字節成立7周年大會上說過一句話：“同理心是地基，想象力是天空，中間是邏輯和工具” ，希望A/B測試這些理論的基石，能夠成為大家解鎖未來產品之門的一把鑰匙。

本文由 @王妍 原創發布于人人都是產品經理，未經作者許可，禁止轉載。

題圖來自Unsplash，基于CC0協議