優(yōu)惠券干貨分享:如何證明優(yōu)惠券功能的有效性(二)
編輯導語:如今隨著互聯(lián)網(wǎng)的不斷發(fā)展,電商行業(yè)也被越來越多人使用,電商的商家經(jīng)常會做一些活動促進轉化,優(yōu)惠券就是很多商家選擇的方式;本文作者分享了關于如何證明優(yōu)惠券功能的有效性的思考,我們一起來了解一下。
在已經(jīng)成熟的手游買量業(yè)務中,如何證明新制作的優(yōu)惠券功能是有效的是核心問題;作為產(chǎn)品經(jīng)理,說明清楚優(yōu)惠券有效性不僅可以體現(xiàn)自身價值對現(xiàn)有買量業(yè)務的加持,還能夠更進一步爭取技術資源支持。
在上一篇文章中初步梳理了評估效果的思路,在具體的實操中遇到了不少問題。
一、第一次ab測試過程
1. 測試目的
基于買量做AB包測試首登送券,驗證在相同買量條件下,有優(yōu)惠券的包和無優(yōu)惠券的包新用戶付費率、新用戶付費arpu值的對比。
活動后臺首登送券規(guī)則的測試運行。
2. 功能準備
實現(xiàn)了優(yōu)惠券活動——新注冊帳號自動發(fā)放優(yōu)惠券的功能。
3. 測試時間
活動時間:3天。
4. 活動形式
活動期間內,用戶在【活動游戲包】內注冊新帳號,可領取到系統(tǒng)自動推送的5張優(yōu)惠券。
5. 優(yōu)惠券設置
滿減面額:【滿6減2】、【滿30減5】、【滿68減10】、【滿128減20】、【滿328減50】(總計付費560+,成本87,整套約85折)。
優(yōu)惠券張數(shù):各檔位預備3k張(用戶量級預計2k)。
有效期:領取后2天到期。
6. 數(shù)據(jù)回收
1)包維度—對比整體付費效果的提升:
(AB包)總流水、付費率、新人付費率、新人付費流水、活躍arpu值、留存率【后臺可查】。
2)用戶維度—用于計算用戶LTV:
用券用戶的注冊時間、使用優(yōu)惠券時間【技術獲取】。
3)優(yōu)惠券維度—統(tǒng)計優(yōu)惠券使用效果/付費金額:
換名包新增用戶數(shù)、領取優(yōu)惠券人數(shù)、領取使用人數(shù)、成功下單占比、滿減總金額、ROI與測試包ROI、未使用過期券占比、用券凈消費金額【后臺可查/計算】。
7. 注意事項
為避免AB包買量因素不同的影響,應盡可能控制相同資源位、同等素材、同等量級,減少無關因素的干擾【市場】。
市場導量需要控量,避免超過優(yōu)惠券張數(shù)【市場】。
游戲內盡量避免運營活動開展情況的不同而對用戶的付費影響【運營】。
二、第一次ab測試結論
1. 優(yōu)惠券效果
- 廣點通:優(yōu)惠券包的新用戶付費率比對比包高,略微提升,新用戶付費arpu值波動較大;
- 頭條:優(yōu)惠券包的新用戶付費率整體比對比包低,新用戶付費arpu值優(yōu)惠券包也偏低;
2. 失敗原因分析
簡單來說,市場買量的波動性污染了實驗組和對照組的數(shù)據(jù)。
本次測試市場導量策略有調整,來量節(jié)奏存在一定不穩(wěn)定性,用戶質量參差不齊,廣點通用戶質量明顯優(yōu)于頭條。
實驗組導量太少,且和對照組量級差距太大,發(fā)放優(yōu)惠券的實驗組僅為不發(fā)的對照組的量級的1/3,進而導致數(shù)據(jù)波動較大。
最低一檔的【滿6減2】優(yōu)惠券在折扣力度上不足以讓非R玩家轉化(尤其是本次頭條導入的用戶付費質量明顯偏低,能夠轉化為付費玩家的基數(shù)也相對小了)
三、事后的思考
增長的第一炮往往是最重要的,第一炮打響了團隊對業(yè)務的信心會提升,資源也更容易爭?。坏F(xiàn)實并不如人所愿,第一次ab測試幾乎以失敗結束,由于市場買量的波動性,并不能得出發(fā)放優(yōu)惠券能夠提升運營數(shù)據(jù)的結論。
在一次無意的資料搜索中,找到了其他行業(yè)的案例分析,在和伙伴討論后茅塞頓開,行業(yè)雖然不同,但遇到的問題及解題思路都是互通的。
這段文字翻譯成游戲行業(yè)的術語是:
目的:量化優(yōu)惠券使用戶額外消費的金額。
需要的數(shù)據(jù):
- 優(yōu)惠券發(fā)放人數(shù)
- 優(yōu)惠券有效期內用戶arpu值(發(fā)優(yōu)惠券arpu值)
- 無優(yōu)惠券時用戶付費率
- 無優(yōu)惠券時用戶arpu值(正常arpu值)
相關指標:
- 正常付費人數(shù)=優(yōu)惠券發(fā)放人數(shù)*無優(yōu)惠券時付費率
- 提升付費人數(shù)=優(yōu)惠券發(fā)放人數(shù)*(有優(yōu)惠券付費率-無優(yōu)惠券付費率)
- 正常流水=正常付費人數(shù)*正常arpu值
- 有優(yōu)惠券流水=提升付費人數(shù)*發(fā)優(yōu)惠券arpu值+正常付費人數(shù)*發(fā)優(yōu)惠券arpu值
最終得到:
流水提升=有優(yōu)惠券流水-正常流水。
注:
- 提升付費人數(shù)*發(fā)優(yōu)惠券arpu值:是本來不會下單的用戶產(chǎn)生的流水
- 正常付費人數(shù)*發(fā)優(yōu)惠券arpu值:是本來會下單的用戶產(chǎn)生的流水
具體實操上,我只需要找一個市場買量投放穩(wěn)定的包,對比其發(fā)優(yōu)惠券前后的數(shù)據(jù),將發(fā)券前的數(shù)據(jù)作為正常值,套用上方公式即可得出結論。
四、最后的思考
驀然回首,我發(fā)現(xiàn)上面的方法在我第一篇文章中已經(jīng)提出了,但我還并沒有實操基于時間的橫向對比;當時不做的原因是游戲受到時間波動影響很大,且具體對流水提升的技術方式?jīng)]有想透徹。
知易行難,共勉。
本文由 @jessi 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議
感謝非常棒的分享。想咨詢下,如何篩選出【本來會下單的用戶】?是通過哪些特定行為嗎?
本來會下單的用戶,就是取平時不發(fā)券時候的均值。只要有個可客觀對比的數(shù)量即可。
關注公眾號“產(chǎn)品經(jīng)理與職場”
同行過來贊一個。。。。