編輯導語：AB測試若運用得當，則可以對產品優化、企業決策等多個情景有所幫助。本篇文章里，作者就以費閱讀為研究對象，具體探討如何提高測試效率的問題。感興趣的話就一起來看一下吧。

前半章是案例，想看干貨的可直接轉到后半章。

如今ABtest已被廣泛應用，是否經常遇到測試成本高、觀察周期長、結果不清晰的問題？

本文將通過探究測試需要的樣本量來達到提升測試效率的目的。

一、思路

1）定性分析：確定樣本量和變量的關系。

2）定量分析：已知總體比例，計算抽樣樣本容量。

二、背景

以付費閱讀行業測試書籍為例，計算已知總體比例的抽樣樣本容量。

三、案例

1. 數據獲得

付費閱讀行業經常會根據書籍推廣測試的后續回收增幅來對書籍質量進行評估，以確定書籍是否有推廣價值?，F需要對某測試書籍后續回收做有效判斷，觀察周期為5天。

現已有書籍平均回收經驗：

• 累計1天ROI=20%時，對應累計5天ROI=40%
• 累計1天ROI=22%時，對應累計5天ROI=42%
• 累計1天ROI=24%時，對應累計5天ROI=44%

2. 數據分析

1）問題

對于以上表格中的數據如何評價？

在探索出樣本量的規律之前，我是這么做的：

初步結論：4/1、4/3、4/5后續達標；4/2、4/4后續不達標。

這就很難僅通過5天數據對這本書進行評價了。

這時我們注意到4/1、4/2的新增uv非常少，而漲幅的偏差卻很大，那么是否因為樣本量的原因干擾了我們的判斷呢？

答案是：是的，樣本量會影響后續回收漲幅。

如果樣本量影響對書籍質量的評估，那么究竟需要多少樣本量才能達到理想的反饋結果呢？

2）結果

本案例中，應排除4/1、4/2、4/4三天再做評價。

4/3、4/5的測試結果為正向，因此認為這本書可以用于推廣。

根據4/3、4/5的第5天增長情況對4/6進行預估，4/6預計累計5天ROI=39%，結果仍為正向。

3）分析過程（正文+干貨）

定性分析：分解指標，找出變量中受樣本量影響的因素，以及該因素與變量的關系。

本案例中：

• 累計ROI=累計充值金額/新增當日消耗；
• 累計充值金額=∑第i天充值金額=∑第i天充值uv*第i天充值ARPPU；*ARPPU是對消費能力的反應，本案例中直接與用戶閱讀速度成正比，近似恒定；
• 第i天充值uv=新增uv*第i天留存比例；*對于付費小說，免費用戶在付費章節幾乎全部流失，因此近似認為5天后留存下來的用戶都是付費用戶。

得到：累計充值金額=新增uv*∑第i天留存比例*第i天充值ARPPU。

問題簡化為：為保證新增用戶5天后有效留存，需要多少新增uv（又回到了熟悉的留存問題上了）。

現已知第5天平均留存比例為8%。

定量分析：大樣本條件下，已知總體比例π，求置信度(1-α)下的樣本容量n】

計算公式

本案例中：

• 給定95%的置信度下z=1.96
• π=8%（在總體比例未知的條件下可取π=0.5）
• E取0.2π=1.6%（E為給定的置信水平下使用者可以接受的允許誤差，由實際業務成本和接受程度決定）
• n=1.96*1.96*8%*92%÷1.6%÷1.6%≈1100

計算置信區間：

計算公式

在本案例中，1.96*sqr(8%*92%÷1100)≈1.6%，置信區間為 (6.4%,9.6%)。

四、結論

眾所周知，樣本量越大、測試周期越長，成本就會越高。如何降低成本是數據分析師應做的，也是文章里想要表達的。

在本案例中，至少需要新增uv=1100。

因此認為4/1、4/2、4/4為無效測試，再結合實際業務對4/5進行取舍，本案例中認為4/5是有效測試。

最后很重要！

互聯網很容易獲取到大樣本，但樣本里摻雜的因素很多，在做測試和計算樣本量的時候，一定需要先做定性分析！

本文由@樹無? 原創發布于人人都是產品經理。未經許可，禁止轉載。

題圖來自Unsplash，基于 CC0 協議