如何評估付費會員項目價值?這個方法免費送給你
編輯導語:在滲透式項目中,往往需要通過測試對照來支撐運營快速決策,那么哪一種測試對照才是科學有效的呢?本文從全量的AB測試對照的局限性出發,提出了一種全新的付費會員對照評估方法,一起看看吧。
一、現狀問題
隨著業務的發展,我們發現AB測試的全量對照存在較大的局限性,比如在滲透式項目這種場景下,由于項目前期滲透率較低,通過全量的AB測試對照往往會導致整體增量價值不高,無法支撐運營快速決策是否可以持續投入項目。
什么是滲透式項目?
滲透式項目是特指在運營周期內,可預見性地無法快速達到高用戶滲透率的產品,例如付費會員、積分等。它往往跟常規的AB測試中文案調整、UI優化等元素對實驗組用戶可以100%影響的項目相對。
二、解決方案
根據翻閱行業內的相關資料,筆者無法在行業內找到已經落地的可行的解決方案,于是沿著這個問題進行思考。
解決這個問題的核心點在于:
找到滲透節點的用戶的對照組,對比兩類用戶的用戶價值數據。
什么是滲透節點?
可以理解為,滲透式項目的用戶核心行為節點即為滲透節點。例如:付費會員項目對應的「購買付費會員」行為節點,積分項目的對應「領取積分」行為節點。
評估步驟:
經過思考,找到了一個方法,由于行業內沒有找到其他人有發表過這種方法,暫且將此對照方法命名為「碧落對照法」,具體步驟如下:
1. 數據測試
根據常規AB測試方法對滲透式項目進行測試(這里不對AB測試的知識做展開介紹,不理解的同學自行搜索學習)。
假設該項目分兩組,分別是實驗組A及對照組B
2. 數據回收
1)回收AB組分別的大盤實驗進入用戶數及用戶價值數據。
2)回收實驗組中滲透節點的用戶數及用戶價值數據。
3.數據分析
1)AB組滲透節點的用戶增量價值評估
實驗組A未滲透人群數量及價值測算:假設實驗組A未滲透的用戶數及對于的用戶價值為a3和A3,那么:a3=a1-a2,A3=A1-A2。
對照組B理論上滲透/未滲透用戶數量測算:假設a2和a3在對照組B中分別有兩組用戶對應,理論上用戶數量比例應當一致,我們假設對應的為b2和b3,那么:b2=a2*(a1/b1),b3=a3*(a1/b1)=b1-b2。
- 對照組B理論上未滲透人群價值測算:理論上,b3人群跟a3人群的人均價值一致,我們將b3人群的總用戶價值定義為B3,那么:B3=b3*(A3/a3)。
- 對照組B理論上滲透人群價值測算:根據上述數據,很容易得出對照組B理論上滲透人群價值,我們認定為B2,即B2=B1-B3。
實驗組A滲透節點的用戶增量價值測算:
△實驗組A滲透節點用戶增量價值提升比例=(b2*A2/a2-B2)/B2
2)AB組大盤用戶價值數據對比
實驗組A大盤用戶增量價值測算:△實驗組A大盤用戶增量價值提升比例=(b1*A1/a1-B1)/B1
3)預估滲透式項目的滲透率上限,以此預估在高滲透率下項目的理論增量價值
假設該項目預估滲透率上限為X,顯然:1≥X≥a2/a1。假設在該滲透率狀態下,a2和a3人群各自的人均價值不變(實際上,隨著滲透率的逐步提高,兩類用戶的人均價值均有可能下降),那么,在該項目滲透率狀態下,大盤的用戶增量價值將在新的狀態下得到整體的提高,測算邏輯跟現有狀態下測算一致。
4. 舉個例子
1)數據測試
以某APP付費會員項目為例,我們對付費會員項目進行AB測試,比例為5:5。
2)數據回收
a. 回收付費會員AB組分別的大盤實驗進入用戶數及交叉用戶數據。
交叉定義:某平臺的完成兩個及以上業務交易的用戶。
b. 回收實驗組中購買付費會員的用戶數及對應的交叉用戶數據?!纲徺I付費會員交叉率為24%=240/1000」
3)數據分析
a. 購買付費會員用戶增量價值評估
實驗組A未購買付費會員用戶數量及對應交叉用戶數:
- 實驗組A未購買付費會員用戶數量=10000-1000=9000。
- 實驗組A未購買付費會員用戶對應交叉用戶數=1050-240=810?!肝促徺I付費會員交叉率為9%=810/9000」
對照組B理論上的購買/未購買付費會員用戶數量測算:購買付費會員用戶和未購買付費會員用戶理論上分別為:1000和9000。
- 對照組B理論上未購買付費會員交叉用戶測算:理論上,對照組B跟實驗組A中未購買付費會員的用戶交叉效率應該一致,那么,對照組B中未購買付費會員交叉用戶數=9000*(810/9000)=810。
- 對照組B理論上購買付費會員交叉用戶測算:根據上述數據,很容易得出,對照組B理論上付費會員交叉用戶數=1000-810=190。
實驗組A購買付費會員的增量交叉用戶比例:
△實驗組A購買付費會員用戶增量交叉用戶提升比例=(240-190)/240=20.83%。
b. AB組大盤用戶價值數據對比
實驗組A大盤交叉用戶增量測算:△實驗組A購買付費會員用戶增量交叉用戶提升比例=(1050-1000)/1000=5%。
c. 預估滲透式項目的滲透率上限,以此預估在高滲透率下項目的理論增量價值假設該項目預估滲透率上限為50%。
假設在該滲透率狀態下,購買付費會員和未購買付費會員的交叉效率不變(實際上,隨著滲透率的逐步提高,兩類用戶的人均價值均有可能下降),那么,在50%的滲透率下,對應的大盤增量交叉用戶提升比例=(2600-1000)/1000=130%
三、總結
總結一下:
本方案的核心是,通過模擬計算找到滲透節點用戶在對照組同樣的用戶的價值數據,以此取得相對合理的對照。
本方法具有一定的先進性:
在項目滲透率低且大盤價值增量對比不明顯時,本方案可以找到一個理論上的滲透節點用戶的對照組,能夠應用到運營上快速決策項目是否可以進一步推進。
但同時也有它的局限性:
跟AB測試一樣,所有的增量數據只能反映當下的數據增量,不能直接視為長期的數據增量。隨著滲透率的提高,項目預估高滲透率狀態下的理論增量價值實際并不準確,有可能盲目高估。
作者:碧落,微信公眾號:運營沉思錄
本文由 @碧落 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自?Unsplash,基于 CC0 協議
宇哥牛逼
“找到滲透節點的用戶的對照組,對比兩類用戶的用戶價值數據?!边@句話總結到位