營(yíng)銷活動(dòng)該怎么來評(píng)估?
導(dǎo)語:在實(shí)際的效率評(píng)估工作中,不是所有的營(yíng)銷活動(dòng)都做了AB實(shí)驗(yàn),也不是所有的公司都將PSM做了模型產(chǎn)品化,在沒有AB實(shí)驗(yàn)和PSM建模的情況下,有其他的方法可以進(jìn)行評(píng)估嗎?今天給大家介紹一種比較常用也是比較容易操作的分析方法,叫做雙重差分法。
01?DID介紹
1. DID概述
雙重差分法DID英文名Differences-in-Differences,別名“倍差法”,小名“差中差”。
雙重差分法估計(jì)的本質(zhì)就是面板數(shù)據(jù)固定效應(yīng)估計(jì),雙重差分簡(jiǎn)單理解就是差分兩次。
作為政策效應(yīng)評(píng)估方法中的一大利器,雙重差分法受到越來越多人的青睞,概括起來有如下幾個(gè)方面的原因:
- 很大程度避免內(nèi)生性問題的困擾:政策相對(duì)于微觀經(jīng)濟(jì)主體而言一般是外生的,因而不存在逆向因果問題;
- 緩解了遺漏變量偏誤問題;
- 傳統(tǒng)方法下評(píng)估政策效應(yīng),主要是通過設(shè)置一個(gè)政策發(fā)生與否的虛擬變量然后進(jìn)行回歸,相較而言,雙重差分法的模型設(shè)置更加科學(xué),能更加準(zhǔn)確地估計(jì)出政策效應(yīng);
- 雙重差分法的原理和模型設(shè)置很簡(jiǎn)單,容易理解和運(yùn)用;
2. DID模型
基準(zhǔn)的DID模型設(shè)置如下:
其中,du為分組虛擬變量,若個(gè)體i受策略實(shí)施的影響,則個(gè)體i屬于處理組,對(duì)應(yīng)的du取值為1,若個(gè)體i不受策略實(shí)施的影響,則個(gè)體i屬于對(duì)照組,對(duì)應(yīng)的du取值為0。
dt為策略實(shí)施虛擬變量,策略實(shí)施之前dt取值為0,策略實(shí)施之后dt取值為1;du·dt為分組虛擬變量與策略實(shí)施虛擬變量的交互項(xiàng),其系數(shù)a3就表示了策略實(shí)施之后的凈效應(yīng),即可用于評(píng)估策略的效果。
為什么a3就能夠體現(xiàn)出策略的凈效應(yīng)呢?這一點(diǎn)可以通過下表來體現(xiàn)(下表也反映了雙重差分法五個(gè)字的真正含義):
雙重差分法的基本思想就是通過對(duì)策略實(shí)施前后對(duì)照組和實(shí)驗(yàn)組之間差異的比較構(gòu)造出反映策略效果的雙重差分統(tǒng)計(jì)量,將該思想與上表的內(nèi)容轉(zhuǎn)化為簡(jiǎn)單的模型(1),這個(gè)時(shí)候只需要關(guān)注模型(1)中交互項(xiàng)的系數(shù)a3,就得到了想要的DID下的策略凈效應(yīng)。
可以用下圖體現(xiàn)DID的思想:
模型(1)是一個(gè)只有分組虛擬變量du和策略實(shí)施虛擬變量dt的簡(jiǎn)單模型,構(gòu)成的多項(xiàng)式回歸方程也比較簡(jiǎn)單,在實(shí)際應(yīng)用到自己的策略評(píng)估中,影響元素不會(huì)只有兩個(gè);因此,模型中的變量也會(huì)不止兩個(gè),需要具體問題具體分析。
雙重差分方法最重要的一個(gè)估計(jì)是組之間具有共同趨勢(shì),也叫共同效應(yīng),就是假設(shè)兩個(gè)組未施加策略的情況下具有相同的變化趨勢(shì)。
如果未施加策略的情況下兩個(gè)組不具有共同趨勢(shì),那DID方法無法發(fā)揮作用,因?yàn)榇藭r(shí)得到的系數(shù)a3受到其他元素影響,不能體現(xiàn)策略實(shí)施帶來的效果;因此,在使用DID做策略評(píng)估之前,需要進(jìn)行DID的穩(wěn)健型檢驗(yàn),其中主要進(jìn)行共同趨勢(shì)的檢驗(yàn),確保應(yīng)用DID可行。
02?DID實(shí)操
假如現(xiàn)在市場(chǎng)營(yíng)銷部進(jìn)行了一次廣告投放,然后讓你評(píng)估一下這次廣告投放是否有效,評(píng)估是否有效的標(biāo)準(zhǔn)是“是否帶來了GMV增量”。
運(yùn)營(yíng)同學(xué)在日常評(píng)估中,最常見的方式就是前后比:如下所示,廣告觸達(dá)的用戶中,投放前的GMV是100萬,投放期間的GMV是150萬,那么廣告投放帶來GMV增加50萬。
那這50萬就真的全部是這次廣告投放帶來的增量嗎?
很顯然不太可能,因?yàn)閺V告投放前和廣告投放期間天然的就有一個(gè)時(shí)間差,比如投放前是4月份,廣告投放期是5月份,5月份自然的多了五一節(jié)等節(jié)假日;對(duì)于旅游相關(guān)的企業(yè)來說,節(jié)假日自然而然交易就會(huì)上漲;因此,這個(gè)時(shí)候就要用到上面提到的雙重差分法,在增量的基礎(chǔ)上,減去一個(gè)自然的增量。
選擇那些用戶作為自然增量呢,工作中常見的有以下幾種:
- 直接采用大盤非廣告觸達(dá)用戶,優(yōu)點(diǎn)是簡(jiǎn)單粗暴,參考大盤自然趨勢(shì)即可,缺點(diǎn)是廣告觸達(dá)的用戶可能本身就是更加容易帶來GMV的用戶,而未被廣告觸達(dá)的用戶可能相對(duì)就不夠活躍,GMV增長(zhǎng)就比如廣告觸達(dá)用戶。
- 利用第三方的網(wǎng)民樣本PANEL庫(kù),從PANEL庫(kù)中匹配出在公司有訪問的目標(biāo)用戶群,其中被廣告觸達(dá)的為實(shí)驗(yàn)組,未被廣告觸達(dá)的為對(duì)照組,優(yōu)點(diǎn)PANEL庫(kù)基本可以代表整體網(wǎng)民;通過是否被廣告觸達(dá)篩選出實(shí)驗(yàn)組和對(duì)照組,缺點(diǎn)是如果公司的廣告投放目標(biāo)用戶是PANEL庫(kù)中的某一小部分如某個(gè)城市群體,那么最終的結(jié)果可能會(huì)有很大誤差。
- 通過PSM方法篩選大盤非廣告觸達(dá)用戶,這個(gè)其實(shí)就是上一次文章分享PSM方法中提到的PSM+DID,主要是PSM建模構(gòu)建對(duì)照組,然后通過DID進(jìn)行誤差修正;由于本文主要還是介紹無法使用AB實(shí)驗(yàn)和PSM建模的情況下如何進(jìn)行評(píng)估,所以此處的PSM+DID也不贅述了。
好,假設(shè)我們對(duì)照組也構(gòu)建好啦,如下表所示,那么凈GMV增長(zhǎng)就是30萬,表示雖然被廣告觸達(dá)的用戶交易額增長(zhǎng)了50萬;但是如果不投廣告這些用戶自然也有20萬的交易額增長(zhǎng),所以最終凈GMV增長(zhǎng)是30萬。
03?后記
雙重差分DID在日常運(yùn)營(yíng)工作中的確是最快最容易上手的評(píng)估方式,但是往往準(zhǔn)確性也不如AB實(shí)驗(yàn)。
如果要真的用于決策一個(gè)項(xiàng)目是否值得投入更多的錢,建議在策略不變的基礎(chǔ)上做多期的DID評(píng)估,看效果值是否穩(wěn)定。
#專欄作家#
大鵬,公眾號(hào):一個(gè)數(shù)據(jù)人的自留地。人人都是產(chǎn)品經(jīng)理專欄作家,《數(shù)據(jù)產(chǎn)品經(jīng)理修煉手冊(cè)》作者。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議。
- 目前還沒評(píng)論,等你發(fā)揮!