中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

在采用一套新的產品、運營策略后，我們勢必要對策略效果進行調研分析，并準確評估出效果如何、比以往好了多少等。那么除了保證評估結果的客觀與科學，有沒有一套準確的、有說服力的評估辦法呢？

如何準確評估產品和運營策略的效果，幾乎是所有產品經理、產品運營、數據分析、市場營銷等同學日常工作中都會碰到的問題。大到一個新產品上線、一次產品方向調整；小到一次運營活動、一個文案修改，我們都付出了成本，按理說我們都需要知道有沒有效果（定性），效果比之前好了多少（定量），對KPI貢獻了多少（歸因）。

數據總是有的，通常我們會不自覺的挑選利于結論的數據來說明效果。那么，有沒有一套準確的、有說服力的評估辦法呢？有的，那就是實驗（對了，這就是實驗三部曲之二——準確量化效果，從之前的數據看如果不改標題點擊率會很低）。

01 兩個常見錯誤

我們最常見的、也最容易想到的效果分析方法是前后對比。

前后對比非常直觀，比如，上線了一個新功能，配置了一個App閃屏，做了一場線下活動（便于描述我們統(tǒng)稱策略），帶來了多少效果？很多同學會直接拿這個策略“做之后”對比“做之前”得到增量，即

效果 =策略后 – 策略前

這樣對比的問題非常明顯：

活動前后一段時間，用戶的活躍度是不同的。比如，某打車APP在清明期間做了一個運營活動，用清明節(jié)三天對比清明前三天，可以看到訂單量猛增。這個效果可以歸因于這個策略嗎？

另外一種常見的效果分析，是局部對比整體或者說對比大盤。對比大盤也非常直觀，我們往往會拿需要觀察的人群（或者被策略命中的人群），來對比大盤得到增量，即：

效果 =觀察人群-大盤人群

這樣對比的問題也非常明顯：觀察人群往往是大盤中一個子集，只要不是隨機從所有用戶中抽取的，就有極大概率與大盤均值存在偏差。

比如，電商App運營活動，給進入手機詳情頁的用戶發(fā)100元折扣紅包，最后發(fā)現(xiàn)發(fā)了紅包以后，用戶群購買手機的的比例是同時間段大盤的兩倍。這個效果可以歸因于這個策略嗎？

以上兩個錯誤，在我經歷過的大廠，并且就在今天，依然有同學經常會犯，只不過沒有這么明顯。錯誤的根源是用于對比分析的兩組樣本，本身不具備“可比性”。

判斷可比性的原則：對比的人群間，是否僅存在“要評估的策略”這一個差異。一旦兩個人群本身存在差異（非隨機分組），或者其中一個人群中疊加了多個策略（非單一變量），都無法通過對比直接得到該策略的效果。

上面兩個例子，大家都能看出來是不可比的，因為很明顯存在樣本偏差。

反推其原因，我覺得除了分析時不夠謹慎外，還有就是存在惰性：前后對比、對比大盤，之前的數據和大盤數據往往都是現(xiàn)成的，拿來就比。

而科學的評估效果，則往往需要設計隨機對照實驗，成本、時間都增加了不少。而想要準確的評估策略效果，實驗盡管有些麻煩，但是繞不開。

02 正確的評估方法

正確的評估方法是隨機對照實驗。實驗的設計和下發(fā)，我們在《以抖音為案例，講清楚“用戶增長實驗”在做什么》已經大概講過，涉及到隨機分組的方法，以及置信度等問題，不是本篇重點。本篇不妨先假設隨機分組完美，實驗下發(fā)理想，實驗結果置信，僅討論分析方法（這些問題可以交給實驗工具）。

接上一部分，正確的效果評估，需要拿實驗組-對照組獲得增量，即

效果= 實驗組- 對照組

假設我們已經拿到了數據，分析前需要確定分析方法。這里的分析方法包含三個要素：樣本、指標、維度。

• 樣本：通常是實驗期間被實驗命中的用戶，含實驗組和對照組
• 指標：根據實驗目的來定，通常包含整個人群的總體指標和人均指標兩類（如實驗組總時長、實驗組人群時長）
• 維度：時間維度，看一天、還是完整的用戶周期；人群維度，僅看當日命中，還是累計命中 等

不同的實驗場景，需要我們組合不同的分析方法，下面我通過3個典型案例來具體介紹。

1. 流量型

流量型實驗最為常見，也最為理想。它指從整個流量（活躍用戶群）中以某些條件篩選一部分，隨機分組下發(fā)不同策略。

之所以理想，是因為整個樣本可以看著是一段時間內狀態(tài)穩(wěn)定的群體，即實驗前也是活躍的，可以進行理想的空跑期（即分好實驗組和對照組后，并不立刻下發(fā)策略，而是觀察一段時間以驗證分組的均勻性，并且可以在實驗分析時消除空跑期的差異；而拉新實驗，新用戶就沒有空跑期數據）。

流量型實驗，我們可以輕易對比實驗組和對照組需要看的指標，例如：

• 樣本：每天命中的實驗組和對照組用戶
• 指標：根據實驗目的來定，人均值通常有意義
• 維度：時間維度，完整的周期；人群維度，一般僅看當日即可，也可關注累積

常見的流量型實驗場景：短視頻App的feeds流推薦算法實驗、App首頁底部入口實驗、電商詳情頁樣式實驗等。

2. 喚醒型

喚醒型實驗也比較常見，比如我們圈定某App的沉默人群（不妨定義為14天內不活躍用戶），實驗組通過App下發(fā)Push，而對照組不下發(fā)。實驗的目的是評估下發(fā)Push對用戶活躍度的影響。

• 樣本：所有沉默用戶，實驗組和對照組
• 指標：根據實驗目的來定，處理人均值通常要小心
• 維度：時間維度，完整的一周；人群維度，需要看累積用戶

為什么這類實驗處理人均值要小心？

人均時長為例，人均值指標通常會拿總時長/活躍用戶數。實驗組通過Push喚醒用戶后，其活躍用戶數增多，但是由于喚回了部分沉默用戶，其總體時長增加，人均時長可能反而會減少，最終可能造成“push降低了人均時長”的誤判。

為什么需要看累積用戶？（過于細節(jié)，可以跳過）
這個問題很容易被忽略，相對復雜，后續(xù)可以單獨展開一篇文章，先簡單介紹：

類似Push這樣的喚醒實驗，有經驗的同學會知道，隨著Push下發(fā)次數增多，一部分用戶會轉化為主動打開用戶、而一部分用戶可能就會關掉Push甚至卸載。

當我們在分析“持續(xù)發(fā)了一段時間的Push”對今天用戶活躍度的影響時，需要看這一段時間以來所有命中過Push策略的用戶，而不僅僅看今天命中Push的用戶，否則我們會漏掉Push可能造成的負面影響（很多關閉Push用戶和卸載用戶不在今天命中Push的用戶之中了）。

常見的喚醒型實驗，除了對沉默用戶發(fā)Push，還有App的圖標紅點實驗，以及某些App通過短信下發(fā)優(yōu)惠券實驗等。

3. 分享型

分享型實驗，由于涉及到分享者和接受者，會更加復雜。例如，我們想看不同的分享文案，對分享點擊率的影響，我們可以將對分享者隨機分成AB兩組，對應分享文案分別為A文案和B文案。

這里會有一個問題：A組和B組中的用戶（分享者），很可能存在共同好友（接受者）；這些共同好友，有可能會在朋友圈先后看到A文案和B文案的分享鏈接。而這些用戶點擊分享鏈接，很大程度上取決于先看到哪一條，而不是文案。所以，從看A、B兩組分享鏈接的點擊率，很可能無法發(fā)映出文案的影響。

設計實驗時，我們無法保證用戶分享給誰，也就無法預先設置“分享者-接受者”這樣的用戶對。對于這個case，我們應該設計成所有分享者隨機出A、B兩個文案，最終我們只需要分析的是A文案和B文案的點擊率，而此時共同好友的影響就被抹平了。

現(xiàn)在分享裂變做的很多，裂變的文案、卡片樣式、紅包金額，等等都是關鍵的實驗變量，由于其復雜性，我們后面可以針對具體案例來做專門的分析。

03 尾巴

上面介紹了正確評估產品和運營策略效果的方法，就是實驗，以及針對不同類型實驗的分析要點。限于篇幅，只列出三類比較有代表性的實驗類型，這些是我長期工作實戰(zhàn)中的總結，應該在任何書籍、文章中都沒見過，如有疑問還請指出~~

準確的效果，才能夠幫助我們判斷策略是否真正值得去做放大，進一步去爭取更大的資源。雖然有些復雜的地方，但是相信大家都值得一試。

最后請記?。河袟l件，快上實驗；沒條件，創(chuàng)造條件做低成本的實驗，用戶ID包隨機下發(fā)也是可以的，后端需要簡單的支持。

真的不能實驗怎么辦？——還有一招，通過因果推斷方法，近似構造實驗組和對照組，后面我們詳細介紹。

預告：實驗三部曲-3 準確量化進階版，我們將討論更多可能導致分析結論錯誤的要點，比如SRM問題（Sample Ratio Mismatch）。當然，需要看下這一篇的反饋排優(yōu)先級了~

相關閱讀

《用戶增長實驗三部曲（1）：生活中需要實驗思維》

《以抖音為案例，講清楚“用戶增長實驗”在做什么》

作者：jinlei886；5年+用戶增長的一手經驗，前騰訊、滴滴出行用戶增長產品經理，專注增長策略挖掘、增長工具搭建、實驗設計分析。本碩博均就讀于浙江大學高分子系。微信公眾號：用戶增長實戰(zhàn)筆記

本文由 @jinlei886 原創(chuàng)發(fā)布于人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協(xié)議