微信是重要的內渠分發渠道，那如何通過成熟的游戲節點提升分發效率？數據組為此沉淀了一套分析SOP。本文作者分享了內渠提效增長SOP建設遇到的問題和拆解方法。

微信是內渠分發的重要渠道，增長中心與微信深度合作，通過成熟游戲節點活動等多種方式提升IEG游戲在微信的分發效率，增長數據組圍繞內渠提效增長沉淀了一套分析SOP，方便快速定位投放中出現的問題，接下來為大家分享下，我們的內渠提效增長SOP建設遇到的問題和我們的拆解方法。

一、業務背景

首先，為了方便理解，簡單介紹下微信分發場景。

其產品形態如下圖所示，主要分發資源位有公眾號、小程序、視頻號游戲中心等，其中“微信游戲”公眾號和發現頁游戲紅點+中心內廣告是通過虛擬金分配機制進行分發的內渠廣告位資源。

數據分析鏈路為出包→推送→游戲紅點/公眾號消息曝光→點擊→下載→注冊。

二、整體分析框架和關注指標

微信投放流程是算法出完A游戲用戶包后，微信側基于用戶活躍等數據對用戶進行過濾，然后和其他游戲人群包進行競價，競價成功后，會在微信公眾號和紅點位置定向推送游戲消息，吸引用戶點擊和下載。

整個投放的北極星指標為曝光下載注冊率（EVR），圍繞北極星指標，我們可以把投放漏斗分為模型效果和渠道表現兩個部分，模型效果主要是指的用戶圈定過程，渠道表現主要是用戶圈定完成后在渠道側的效果數據。通過過程拆解，投放漏斗的每一個步驟都有明確的檢驗目標和關注的指標，從而可以對北極星指標的異動準確歸因。

1. 首先我們會通過一系列的策略，篩選出排序候選集，候選集是一個較大的用戶包，后續精排算法會在這個用戶區間內進行排序，找到更有可能注冊的用戶，所以目標用戶的候選集覆蓋度是第一個核心指標，通過評估候選集注冊用戶占同期微信關系鏈注冊的比例，我們可以知道候選集是否充足，比如，某檔期注冊用戶100人，候選集中的注冊用戶只有50人，那無論后續怎么排序，最終出包的注冊都不會超過50人。
2. 在模型圈定用戶階段，我們主要關注的是模型效果，即模型是否能篩選出高潛注冊用戶，由于出包有量級限制，需要盡量提高最終用戶圈定的準確率，即模型頭部500萬的召回率。
3. 在把用戶包配置到微信后，經過微信的過濾和競價，會改變原始模型分層的分布情況。由于這一步目前偏黑盒，我們只能通過對比出包注冊率和曝光注冊率評估微信過濾對注冊的影響。
4. 微信給目標用戶推送廣告后，廣告位文案和素材的質量會直接影響曝光點擊率。
5. 如果用戶對該游戲感興趣，繼續點擊下載，這一步會因為部分廠商的攔截導致渠道包被更換，我們可以通過渠道占比和關系鏈占比評估這一步的損失。
6. 最終到注冊環節，可以比對用戶下載情況，分析除了正常漏斗下來的用戶外，有注冊無下載，以及有點擊下載但沒有最終染色的用戶情況，輔助我們了解用戶轉化鏈路的多樣性。

通過用戶分層，我們可以檢查模型對頭部用戶圈定是否準確，怎么進一步評估具體是哪個分層用戶變動導致的最終點擊率下降呢？我們定義分層貢獻度指標，來描述和輔助定位分層變化對整體指標的影響。

• 不同分層用戶注冊轉化潛力不同，對比兩次投放，但由于微信黑盒過濾，實際曝光的用戶分層量級分布由原始用戶圈定時的均勻分布變成不均勻分布，且兩次投放中不同分層的實際曝光量變化情況不同，不同的分層的實際曝光量和點擊率都有差異。分層曝光量變化受過濾影響，點擊率受到素材影響，兩個之間互相獨立。
• 分層點擊率貢獻度指標可以描述素材的影響，假設曝光量不變，評估不同分層點擊率變化對整體的影響。對每個分層計算當次點擊率和上次點擊率的差值，假設曝光量不變，用該層當次曝光占當次總曝光比例做權重計算點擊率貢獻度。
• 分層曝光量貢獻度指標主要用于描述因為黑盒過濾導致曝光分布變化，進而對整體點擊率的影響。對每個分層計算當次曝光和上次曝光量的差值占當次總曝光量的比例，作為分層流量變化比例，假設點擊率不變，用該層當次點擊率和當次總點擊率差值做權重計算曝光量貢獻度。
• 結合兩次投放，可以計算出點擊率變化和流量變化帶來的分層總貢獻，當次點擊率相比上次投放點擊率有所下降，其中分層1和分層17的分層貢獻比例大，是導致點擊率下降的主要因素；觀察流量變化可以發現，頭部分層1（模型認為轉化概率高的高點擊率用戶）實際曝光量下降明顯，尾部分層17（模型認為轉化概率低的低點擊率用戶）實際曝光量上升，在總體曝光量變化不大的情況下，由于分層曝光量變化，導致總體點擊率下降。

三、分析case

接下來，我們用上面的SOP流程分析一個實際投放的案例，這個case的背景是某游戲的虛擬金投放中指標的波動，觀察到3月投放的曝光注冊率大幅下降的趨勢，而4月的EVR有顯著的提升，需要分析EVR波動原因。

該游戲3-4月的EVR變化趨勢和曝光量級（數據安全考慮隱去坐標軸數值）：

根據上述的漏斗逐層往下分析，對北極星指標的波動歸因。

首先在出包之前，我們會先看一下候選集對注冊人群的覆蓋能力有沒有顯著變化。這里我們主要關注的指標是候選集對注冊用戶的召回率，這個指標代表了我們的模型能從中選出的注冊人數的上限，正常情況下，如果沒有對候選集做出大的調整，候選集覆蓋的注冊人數比例應該是相對穩定的。

如果候選集召回率顯著下降，那么在整個出包流程開始之前，我們就可以預期到這次投放效果會有一定幅度的下降，因為我們能觸及的注冊人數上限變低了。

這時候我們就需要去看什么原因導致了候選集的變化，例如是因為前面的用戶活躍度過濾策略過濾掉了太多用戶，還是說場景點擊過濾策略篩掉了過多用戶，又或是什么其他原因，并做出相應調整。

上圖為該游戲候選集召回率的變化趨勢，可以看出，候選集的召回率和EVR有基本相同的變化趨勢，大致拐點基本相同，在3.7到4.4之間候選集覆蓋的注冊人數比例大幅度提升，以曝光點擊活躍候選集來看，從3.7的24.7%上升到了4.4的45.8%，有將近兩倍的提升，同期的EVR也從0.005%上升至0.191%，反觀4.25期候選集召回率有很大的下降，EVR也相應遠低于4月其他檔期。

這說明，模型出包的候選集中覆蓋的人數在3月初有大幅的下跌，導致模型能選出的注冊人數的上限減少，從而影響到曝光注冊率，而之后候選集覆蓋的微信關系鏈注冊人數逐漸回升，到4月初差不多回升至2月底的水平，模型能選的轉化人數上限提升了，那么在模型能力穩定的情況下，就能選出更多的高潛轉化用戶，提升總體EVR。

在確定候選集對EVR的影響之后，下一步我們需要評估模型的能力是否穩定。在這里選取的指標是候選集準確率和頭部用戶的注冊率，分別代表了候選集覆蓋的注冊人數和出包的頭部500w用戶覆蓋的注冊人數多少，在候選集總人數不發生太大變化的情況下，通過對比這兩個指標的變化趨勢，我們可以確定模型的表現是否符合預期。

假如模型能力比較穩定，那么候選集中的注冊人數和模型從中選出的注冊人數應該等比上升或下降，也就是候選集的注冊率和模型頭部用戶的注冊率會有相同的上升/下降趨勢，假如候選集的注冊率在上升，而模型選頭部用戶的注冊率反而大幅下降，那說明模型表現的異常差，需要去看這期的模型出了什么問題。

下面我們對比了該游戲候選集準確率和出包頭部500w注冊率，可以看到，大多數檔期兩者有基本相同的升降趨勢，出包頭部500w用戶注冊率低的時候，同期的候選集準確率也基本同樣比例降低，說明3月份頭部500w中注冊人數變少是由于候選集中的總注冊人數變少了。

除此之外，可以觀察到，從3.11到4.7的幾次投放，頭部500w用戶的注冊率有一個大幅的提升，遠比候選集這段時間的提升要大，說明候選集中注冊人數增加不多的情況下，模型篩選出了比前幾期兩倍以上的注冊用戶，可見這幾期的模型能力提升也是EVR提升的主要原因之一。

除了對比候選集準確率和頭部用戶的注冊率，我們還通過頭部用戶的召回率來評估模型的表現，這一指標代表了模型選出的頭部用戶能覆蓋總注冊人數的多少比例。如果模型預測能力強，那么選出的優質用戶應該能代表高潛注冊用戶，出包頭部用戶應該能覆蓋大多數的注冊用戶，如果排在尾部的用戶反而比頭部用戶包含了更多的注冊用戶，那說明模型預測出的概率可能有偏差。

下面是該游戲在這兩個月的頭部500w用戶召回率，可以看到，從3.7到4.4號的投放，頭部用戶召回率從13.3%到88.6%，提升了75.3%，幅度也遠超候選集的變化幅度，同樣驗證了模型能力的提升，說明3月底開始模型選出的優質用戶覆蓋了更高比例的注冊用戶。

從第一部分候選集和模型效果可以得出，3-4月候選集和模型的變化是導致該游戲虛擬金投放EVR有較大波動的兩個主要原因，接下來我們會關注實際投放過程中，漏斗后續鏈路的渠道表現是否有其他導致EVR變化趨勢的因素。

在出包之后，到推送廣告素材給用戶的過程中，由于用戶競價或業務方過濾等原因，會有一定比例的損失，無法全部曝光。如果某次投放大部分用戶，尤其是頭部的優質用戶沒有充分曝光而尾部轉化較差的用戶曝光比例較高，那么投放的效果是可以預料的會變差的。

然而這個結果也不是絕對的，如果投放的頭部用戶只有少部分曝光，但這部分曝光已經覆蓋了大部分的用戶，那么轉化效果也可能較好。因此，在看用戶的點擊下載注冊行為之前，我們需要監控出包的用戶實際推給用戶的比例。

下圖我們是對比兩期（3.31和4.4）出包量級相同，候選集準召也相對接近的投放，對比出包曝光率?？梢钥吹竭@兩次投放的頭部出包曝光率都不高，在10%-30%之間，3.31期的出包曝光率反而更高一些，因此頭部優質用戶曝光不足導致的不是導致3.31投放EVR對比4.4較低的主要原因。

為了更好的解釋頭部用戶曝光差異導致的EVR差異，下面放了另一游戲兩期投放的出包曝光率對比。該游戲3.3日投放的EVR遠高于4.8的EVR，從下圖出包曝光率可以明顯看出，該游戲3.3投放的頭部用戶曝光比例遠高于4.8日，且曝光用戶集中在頭部，相反4.8投放的曝光用戶集中在尾部，顯著高于3.3投放的尾部曝光，在該游戲這兩次的投放中，出包曝光率差異是導致轉化效果好壞的主要因素之一。

在將文案素材推送給用戶之后，我們就要關注用戶的渠道表現了。推送之后的下一環節是點擊，我們需要監控投放的整體點擊率是否有大的變化，如果有，是什么導致點擊率波動的，是由于文案和素材質量不佳導致用戶沒有點擊意愿，還是投放的用戶質量不高，對該游戲的廣告不感興趣，又或是尾部用戶曝光量級太大，導致會點擊的人數差不多的情況下，總曝光量級增大，降低了整體點擊率？對于后兩點，我們設計了分層點擊率貢獻度的指標，用來評估每100w用戶的點擊率和曝光量級對整體點擊率的影響程度。

上圖是該游戲投放的點擊率，觀察到3月份投放在點擊鏈路上的流失遠多于4月份，4月份投放的點擊率要顯著高于3月份，4.4的點擊率將近3.31的3倍。

以3.31日作為實驗組，4.4日作為對照組，計算點擊率貢獻度，下圖可以看出點擊率的差異主要有兩部分原因導致：

一是兩次投放頭部100w用戶的點擊率差異較大（左邊紅框可以看出，頭部100w的點擊率差異對3.31點擊率低于4.4這一結果有20%的貢獻度），這是由于兩次投放頭部用戶質量有差異，4.4投放的頭部500w用戶中注冊用戶是3.31的2倍有余；

二是3.31期尾部曝光用戶遠高于4.4期，這個從上面出包曝光率圖中可以看出，大量曝光的尾部用戶拉低了整體點擊率（右邊紅框可以看出，尾部曝光量級的貢獻度較高，說明3.31投放尾部低于平均點擊率的用戶過多，拉低了整體點擊率）。

在用戶有點擊行為后，就到了鏈路上的下載以及注冊環節。這里有兩方面，一個是用戶下載之后是否有注冊行為，另一個是注冊的用戶是否是在我們渠道/場景下載的。

從第一個角度，用戶下載之后為什么不注冊，是比較難分析的，因為我們認為下載的用戶大多數都是有該游戲的偏好的，但是下載之后又不注冊游戲，也許是注冊流程繁瑣，或者內存不夠等原因，但是這些我們都比較難進行干預，所以我們在這個環節主要關注在分析注冊的用戶有沒有在我們渠道場景有下載行為。

這部分用戶是出包投放的用戶中會轉化的，但是在下載鏈路沒有歸屬到我們渠道，若出現較高比例注冊用戶都沒有我們渠道的下載，又是什么原因導致的。

在這里，我們關注的指標是注冊但沒有下載的用戶比例。從下圖可以看到，轉化較好的4.4，4.7，4.14期，注冊用戶中僅有10%左右的用戶沒有我們渠道的下載行為（無法對EVR提升有貢獻），而3月份以及4.25轉化較差的幾次投放，注冊用戶中沒有下載的比例在15%-20%左右，說明更多高潛注冊用戶在下載鏈路流失也是3月份投放轉化較差的原因之一。

假如出現了上面的情況，較高比例的注冊用戶沒有歸屬到我們渠道下載，我們就需要分析產生這種情況的原因。

這時候有可能有兩種情況，一是這部分用戶去了非微信渠道或是外發渠道下載（不在微信，qq，應用寶等渠道），另一種是在微信渠道下載，但是沒有在我們的場景下載（公眾號、紅點），我們在SOP的流程中也會分別對這兩種情況進行監控。

對于第一種情況，我們監控的指標是，對無下載的注冊用戶中微信渠道的占比，看這部分有注冊無下載的用戶有多少是在微信渠道下載的，有多少去了內渠其他渠道下載，又或是被外發渠道搶占了。

對于第二種情況，我們會關注微信渠道注冊的用戶中無下載的比例，這個指標可以看出微信渠道注冊的用戶，有多少是在我們場景下載，多少去了微信渠道的其他場景下載。

我們選上圖注冊無下載用戶比例最高的3.11和4.25期為例，可以很清晰的看出上述兩種情況的區別：

• 下圖是無下載注冊用戶中，微信渠道注冊的比例，可以看到3.11無下載注冊中微信渠道占比是兩個月來最低的，僅有43%左右，說明3.11期注冊無下載用戶比例高是由于更多用戶在下載鏈路被外發渠道搶占，而同樣注冊無下載用戶比例高的4.25期，80%下載沒有歸屬到我們渠道的注冊用戶都還是在微信渠道下載注冊的，說明不是因為被外發搶占導致冊無下載用戶比例高。

• 下圖是微信渠道注冊用戶中，沒有下載的比例，可以看到4.25期是兩個月以來，微信渠道注冊無下載用戶占比最高的一期，說明雖然下載沒有被外發渠道搶占，但是4.25期更高比例的注冊用戶沒有公眾號和紅點的場景偏好，在微信渠道的其他場景下載。

通過SOP框架對該游戲3-4月投放EVR異動進行歸因，能得出幾點主要的結論：

3月底調整了出包的候選集，模型也有較大改變，導致：

1. 4月候選集召回率提升，覆蓋的注冊人數顯著多于3月；
2. 頭部用戶準召率大幅提升，模型能力提升，選出的頭部用戶帶來更多注冊；
3. 3月投放點擊率遠遠低于4月，一是兩次投放頭部用戶質量有差異，導致頭部的點擊率差異較大，二是3.31期尾部曝光用戶遠高于4.4期，大量曝光的尾部用戶拉低了整體點擊率；
4. 3月份以及4.25的投放，更高比例的高潛注冊用戶在下載鏈路流失，3.11期是由于更多用戶在下載鏈路被外發渠道搶占，而4.25期是因為更高比例的注冊用戶沒有公眾號和紅點的場景偏好。

四、寫在最后

V1.0版增長SOP重點關注出包后投放，目的是復盤單次投放效果，并對異常問題進行快速定位，是發現出問題的某次具體投放后，進行的下鉆分析。如何從大盤數據波動中，找到出問題的游戲以及對應找到該次投放，是我們接下來需要重點解決的問題。

接下來我們還會更加關注游戲投放鏈路，在算法出包后投放前，插入一個檢察出包健康度的機制，發現一些常見問題。方便根據檢查結果，適時做一些尾部用戶的替換，提高出包的轉化效率，即投前分析SOP，和投后分析一起，不斷提升投放效率。