案例分享:如何通過數據分析進行活動效果評估

3 評論 24076 瀏覽 169 收藏 10 分鐘

導語:相信對于很多剛入門的分析師小白來說,評估活動效果、洞察業務機會,是所有工作中最可以體現價值感的事情,但也可能是令我們最頭疼的事情。本文作者基于自身的實際工作經歷,結合一個真實的運營活動,對活動評估中可以復用的數據分析“套路”進行總結和整理,希望能夠給初接觸數據分析的同學帶來幫助。

一般來說,互聯網公司的運營活動按照目的可以分為3種:拉新、促活、品牌宣傳,盡管每種活動關注的核心績效指標完全不同,但是分析的思路還是可以套路化的。接下來,本文將以某次促活活動為案例,分享下如何對一場活動的效果進行量化評估。

一、活動背景

伴隨著移動互聯網用戶的增速越來越趨于飽和,用戶增長的破局方法不得不從拉新獲客轉換為如何促活存量用戶。

通過第三方廣告媒體app(比如微信、抖音等)投放針對老用戶的素材對用戶促活,已經成為很多公司用來提升存量老用戶活躍度的有效方法(后續會統稱為“渠道拉活”)

某公司的市場投放部門也開始投入預算試水「渠道拉活」這一項目,在項目啟動一段時間后,已經回收累積了大量的用戶數據,但是:

  • 渠道拉活對于DAU的帶動貢獻究竟有多大?
  • 是否值得持續投入更多的資源?
  • 活動情況的ROI如何?是否符合預期?
  • 活動是否存在改進空間?

這些領導和業務方非常關注的問題,需要分析師基于數據給出公正和客觀的答復。

二、分析框架和指標體系

1. 分析框架

  • 活動整體增量效果評估 (包括短期效果分析、長期效果分析)
  • ROI 核算(計算單用戶的拉新或者促活成本)
  • 參活用戶質量評估
  • 活動存在問題分析

2. 指標體系

(1)流量規模

數據指標:

  • DAU
  • 參與活動的用戶數(舉例:渠道拉活成功召回的用戶數)
  • 通過活動首次調起app的uv(舉例:通過渠道拉活首次調起app的uv)
  • 通過活動首次調起app的uv占day的比例(舉例:通過渠道拉活首次調起uv的dau占比)

可解決的問題:

  • 通過對比事先制定好的活動KPI指標,評估目標完成率;
  • 與其他活動對比,評估促活的核心指標(通常是DAU)是否達到預期;
  • 評估渠道拉活能夠召回的用戶量級有多大;
  • 評估對DAU的凈增量貢獻有多大;

(2)用戶質量、用戶畫像

數據指標:

  • 留存率(次日回訪率、7日回訪率、30日回訪率)
  • 日均使用時長
  • 核心功能滲透率
  • 核心功能人均PV
  • 人群畫像(性別、城市、消費能力)

可解決的問題:

  • 評估渠道召回用戶的質量
  • 監測是否存在刷量作弊渠道

(3)用戶行為

數據指標:

  • 站外轉化漏斗(舉例:廣告曝光-廣告點擊-成功調起app-deeplink抵達特定頁面)
  • 站內核心行為的轉化漏斗(舉例:活動頁-列表頁-詳情頁)

可解決的問題:

  • 評估用戶從站外渠道到抵達App的路徑是否順暢,發現產品bug或者可以改善的機會點
  • 評估活動的站內承接策略是否合理

三、分析過程

1. 活動效果評估以及活動ROI分析

在量化DAU (或者活躍天數) 貢獻時,需要減去用戶的自然活躍量,即計算“凈增量”貢獻。該貢獻可以分為當日貢獻和長期貢獻。

  • 當日貢獻是指:當日的召回用戶對于當日DAU的增量貢獻
  • 長期貢獻是指:由于召回用戶的后續回流,在后續特定時間范圍還會持續貢獻的用戶天數增量。比如,活動后的50個參與用戶,在后續30天內人均活躍天數比活動前提高10天,那么促活的增量貢獻就是500天。

不得不承認,AB實驗最擅長處理歸因和量化的問題。它的思想是,將流量隨機分為數量均勻和特征均勻的兩組(即對照組和實驗組),實驗組用戶只有在產品策略上與對照組不同,因此我們可以認為兩組用戶在同一時間維度上的指標差異,可以完全歸因于策略上的差異。

然而,該廣告拉活項目無法設計對應的AB實驗,但我們可以基于AB測試的思想,構造與實驗組“相似”的用戶群體作為對照組。具體過程如下:

  1. 將拉活渠道喚起app的用戶作為實驗組,未曾被拉活召回的存量用戶作為對照組;
  2. 選取可能影響用戶未來活躍度的特征(比如機型、新增渠道、歷史活躍度、…),基于“特征相同”的原則,對兩組用戶劃分為 N 對實驗組和對照組。注意盡量將特征通過區間離散化,避免劃分出的某一組落入的樣本數過少,導致兩組樣本的指標差異不可信,比如特征「新增日期間隔」可以離散化為:7天內、8-14天、14天以上;
  3. 計算 N 對實驗組和對照組的每一組的指標差異值,以及實驗組的總指標差異(等于每一組指標差異*人群占比的相乘結果求和)

通過以上方法,可以計算出拉活對于當日DAU的貢獻、以及拉活對于未來30天DAU的總增量貢獻。

實際上,對于拉活對DAU的單次短期貢獻,有更為簡便的方法,即基于“首次歸因”的思想,通過“拉活首次調起app的uv”進行量化評估,即如果用戶多次啟動過app,那么只有當通過促活廣告首次調起app了,才會計入到促活廣告的功勞。

值得一提的是,“首次歸因”的方法也可以應用至“產品新上線功能評估”的效果量化中,通常我們可以將“啟動app后首次訪問該功能的用戶量”作為該功能對dau的貢獻量。

對于活動成本的核算,我們可以通過 “總成本消耗量 / 總DAU增量”,計算每個DAU增量的成本,以評估ROI是否符合預期。

2. 用戶行為分析、和用戶質量評估

可以以「大盤未參活用戶」、「同期同類活動」、「往期同類活動」分別作為對比基準,基于用戶行為漏斗、留存率、核心行為pv、人均使用時長等指標,識別本次促活策略是否有薅羊毛或者作弊嚴重的渠道,并評估活動拉來的用戶質量好壞。但這里不作為本次分享重點,因此不再展開贅述。

四、結語

作為數據分析師,實際工作中遇到的促活策略往往是五花八門,但是活動效果好壞的評估過程依然是有章可循的。最后,簡單總結下本文對于后續活動評估的可復用之處:

  • 如何構建活動評估的指標體系;
  • 如何量化歸因活動的短期貢獻(即“首次歸因”法);
  • 如何在無法開展AB測試的情況下,通過構造對照組的方式,快速地量化評估長期的增量貢獻;

 

本文由 @郝笑笑 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自Unsplash,基于 CC0 協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 沒啥用

    來自福建 回復
  2. 請問分析過程的長期貢獻中的促活增量貢獻為1500天是怎么計算的呢?

    來自廣東 回復
  3. 收藏不贊=白嫖行為

    來自美國 回復