如何通過數據指標來分辨真假用戶

2 評論 12980 瀏覽 59 收藏 15 分鐘

運營人員可能會遇到的事情:做渠道投放的時候,每個渠道都投放了,點擊量特別高,但是激活量卻只有個位數。點擊量和激活數量都很高,但是留存率卻很低?;舜罅抠M用在渠道投放上,但是效果卻并不好。

其實,在移動互聯網生態中存在很多不為人知的渠道“刷量”工作室,這些工作室以非常低廉的價格貢獻質量同樣低廉的用戶數據,這給 App 生態圈帶來了很多惡意后果。面對“刷量”,運營人員往往在虛假數據面前束手無策。那么,“刷量”到底是怎么進行的?在運營過程中我們要怎樣去判斷數據是否有“水分”?

一、關于“刷量”

早期的統計分析平臺的 SDK 基于明文的 json 數據包,工作室可以很方便的用程序偽造這些數據包,模擬出新增、活躍、留存、時長等用戶數據。隨著統計分析平臺的發展,很多分析平臺推出了基于二進制協議的 SDK ,開發人員還可以自行調用加密開關。這些技術的提升使統計平臺的安全性和數據準確性得到了提高。如果 App 升級到安全協議版本的 SDK,刷量工作室已經很難采用直接模擬數據包的形式來刷量了。

所謂道高一尺魔高一丈,平臺有平臺的方法,刷量工作室有刷量的方式。他們可能是采用分布式人肉刷量的方式來刷量(形式可以參考基于任務的積分墻);也有可能是采用更為智能的方式,通過編寫程序腳本,修改真機參數,驅動真機運行(有興趣的同學可以了解一下 igrimace 這個 iOS 的刷量工具)。這些行為已經跟真實的用戶行為幾乎沒有差別了,統計平臺也很難從技術上分辨這些數據。

那么,有什么辦法能識別這些虛假數據呢?一些有經驗的運營人員,會通過渠道效果評估的數據指標和反作弊模塊兩方面來分辨出真假用戶的差異。同時,友盟新出的用戶評級產品,通過設備在友盟數據平臺的全局行為來評估渠道用戶質量的好壞。下面,我們來仔細分析,如何通過這些指標和工具來辨別真假用戶。

二、如何識別“刷量”數據

第一、渠道效果評估

留存率

有時候渠道“刷量”會選擇在次日、7 日、30 日這些重要時間點上導入用戶數據。我們會發現 App 在次日、7 日、30 日這些關鍵時間點上的數據明顯高于其他時間點。其實真實的用戶的留存曲線是一條平滑的指數衰減曲線,如果你發現你的留存曲線存在陡升陡降的異常波動,基本上就是渠道干預了數據。可想而知,這樣的用戶的質量是非常差的,也不具備商業價值。

(小貼士:留存曲線不僅可以幫助我們判斷渠道的質量,還可以在運營推廣和產品優化上給出很多參考性建議。留存率是怎么計算的呢?某一天的新增用戶,在n天后回訪的比例,就是這天的 n 日留存率。舉個例子,如果我們在 2 月 1 日獲取了 1000 個新增用戶,這批用戶在 2 月 2 日有 400 個用戶回訪,2 月 8 日有 200 個用戶回訪,那么 2 月 1 日新用戶的次日留存率是 40%,7 日留存率是 20%。)

fasdfa

用戶終端

每個渠道都有自己覆蓋的用戶群,他們的用戶終端會有區別。比如說小米應用商店的用戶可能 TOP10 的機型都是小米手機,而移動 MM 的用戶可能絕大部分是移動運營商的用戶。排除這些有特殊渠道的應用商店,大部分渠道的用戶終端跟整個移動互聯網終端分布是類似的。我們可以通過查看移動互聯網數據報告或者數據指數產品來了解這些數據,把這些數據作為 benchmark ,來對比分析 App 的數據。

我們可以重點關注設備終端、操作系統、聯網方式、運營商、地理位置這些手機設備的屬性。我在下面列舉了一些 tips:

方法一:關注低價設備的排名

你可以重點分析渠道的新增用戶或者啟動用戶的設備排名。如果你發現某款低價設備排名異??壳?,這種情況值得我們重點關注。這些數據可以在統計平臺的終端屬性分布中找到。

123123

尤其是 iOS 平臺沒有模擬器,所有的用戶數據需要通過真機觸發。很多刷量的工作室會選擇購買二手的 iPhone 5c 來做刷量真機。有個做渠道推廣的朋友踩過這樣的坑,發現某個渠道有 75% 的設備是 iPhone 5c ,比 top5 的 iOS 設備占比還多。繼而又發現這個渠道的留存率等指標都差強人意,最終查出這個渠道使用了大量的 iPhone 5c 來刷量。

方法二:關注新版本操作系統的占比

123213

很多渠道刷量工作室在操作系統版本的適配上會有延時。所以建議渠道人員在查看渠道用戶的操作系統時,可以和全體手機網民的操作系統的分布做比較。如果你發現某個渠道下面,不存在新版本的操作系統(比如iOS 8.x),有一種可能性就是這個渠道合作的工作室的技術還沒有適配最新的操作系統。

方法三:關注 wifi 網絡的使用情況

1232131434

有的朋友問我們,用戶在 wifi 下面使用的比例達到了90%,這個比例到底正常不正常。要回答這個問題,首先我們需要對現在的大形勢有些了解。現在是一個高速網絡的環境,無論是新增用戶還是活躍用戶,wifi 的使用占比都比較大。

從用戶行為上來說,如果你留心身邊的朋友,會發現大家在下載 App 的時候傾向于使用 wifi(流量貴啊),相比之下,啟動 App 時,會對當前網絡的敏感性差一些。也就是說,新增用戶的 wifi 使用比例會大于啟動用戶的 wifi 使用比例。

另外,wifi 的使用比例還跟應用類型相關。如果你是一個在線視頻類型的應用,wifi 的比例可能會在 90% 以上。如果你是一個小流量的 App ,同時能夠在新增用戶和活躍用戶的 wifi 數據對比上看出蛛絲馬跡,可能真的是渠道在搗鬼了。

方法四:定向投放也很重要

有個行業內做了很久的朋友傳授給我一個經驗,說福建地區的作弊比較多,我們在制定投放策略的時候可以重點考慮屏蔽作弊多的地區。這個黑名單也可以根據 App 實際的分地域投放效果來定制。

另外,我們在投放時也可以根據需要重點選擇部分地區投放。比如北上廣這些高消費的地區,比如三四線城市這些相對藍海的區域。查看數據時就需要驗證用戶是否和我們的投放策略相符合了。

用戶行為

方法一:比較用戶行為數據

如果一個 App 運營的時間比較久,訪問頁面、使用時長、訪問間隔、使用頻率等這些行為數據會趨向穩定的。不同 App 的行為數據是有差異的??赡芩⒘抗ぷ魇铱梢阅M出看似真實的用戶行為,但是很難跟你的 App 的日常數據做的完全一致。

一個渠道用戶的使用時長、使用頻率過高過低都值得懷疑。我們在平時做渠道數據分析時,可以將這些數據跟整個 App 作比較,或者將安卓市場、應用寶這些大型應用商店的數據作為基準數據,進行比較。

方法二:了解新增用戶、活躍用戶小時時間點數據曲線

很多刷量工作室通過批量導入設備數據或者定時啟動的方式來偽造數據。這種情況下,新增和啟動的曲線會出現陡增和陡降。真實用戶的新增和啟動是一條平滑的曲線。一般來說,用戶的新增和啟動會在下午 6 點之后達到高峰。而且新增相比啟動的趨勢會更加明顯。

12341234143

QQ20150724153259

我們可以將不同渠道的分時數據進行對比,找到異常。需要注意的是,這種行為數據的對比需要遵循單一變量原則。也就是說,除了是不同的渠道,實驗中的其他因素必須完全相同。如果我們選取渠道 A 在周三的活躍數和渠道 B 在周六的活躍數做對比,這兩個數據肯定是有差異的,不具備可比性。

方法三:查看用戶訪問的頁面名稱明細

有些工作室會將 appkey 打到其它高頻的 App 中。這樣,我們可能會發現渠道用戶的數據非常漂亮,但是仔細觀察可以發現,頁面名中有大量的頁面不是自己定義的。通過對比頁面名稱,可以定位到這種形式的渠道作弊。

如果是 Android App,這個名稱是 activity 或者 fragment ;如果是 iOS App ,這個名稱是自定義的 view 。這段記不住也沒關系,記得找開發人員要一下具體頁面的名稱列表,對比一下統計后臺用戶訪問的頁面明細,就能看出差異了。

轉化率分析

轉化率數據的分析不僅可以幫助我們應對渠道作弊,還可以幫助我們判斷不同渠道的用戶質量,提高投放效率。每一個 App 都有自己的目標行為。比如電商類應用的目標行為就是用戶購買商品的情況。游戲類的應用需要考察應用內付費。社交類應用會關注用戶產生內容的情況。運營人員需要定義和設計應用的目標行為。

如果一個用戶是真實的流量,他會經歷點擊、下載、激活、注冊、直到觸發目標行為的過程。我們可以將這些步驟做成漏斗模型,觀察每一步的轉化率。漏斗的步驟越靠后,作弊的難度越大,所獲取用戶對系統的價值越高,同時我們付出的用戶成本也越高。運營人員需要對目標行為進行監控,在渠道推廣時,考察目標行為的轉化率,提高渠道作弊的邊際成本。

友盟近期推出的用戶評級產品,可以綜合友盟數據平臺全量數據進行挖掘和分析,通過設備在友盟數據平臺的全局活躍情況、存活時長、App使用情況等六大特征來衡量各個渠道的新增用戶表現,幫助開發者更有效的評估用戶質量。

第二:反作弊模塊

除了使用現成的統計分析工具,還可以申請讓研發人員開發自己的反作弊模塊。我們可以定義一些行為模式,加到反作弊模塊的黑名單庫中。如果一個新增設備滿足定義的行為模式,就會被判定為一個作弊設備。每個運營人員都可以根據自己的 App 來定義。我列舉了一些常用的行為模式:

  1. 設備號異常:頻繁重置 idfa
  2. ip 異常:頻繁更換地理位置
  3. 行為異常:大量購買特價商品等
  4. 數據包不完整:只有啟動信息,不具備頁面、事件等其他用戶行為信息

 

本文由 @羅曼羅 原創投稿,并經人人都是產品經理編輯。未經許可,禁止轉載。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 感謝分享?。?!

    來自廣東 回復
  2. 不錯 學習了

    來自北京 回復