關于數據埋點采集,你需要了解這些
數據采集是數據分析的基礎,而埋點是最主要的采集方式。那么數據埋點采集到底都包括哪些問題?本文作者從什么是埋點、埋點怎么設計、埋點的應用三個方面對這個問題進行了梳理,與大家分享。
一、數據采集以及常見數據問題
1. 數據采集
數據采集有多種方式,埋點采集是其中非常重要的一部分,不論對c端還是b端產品都是主要的采集方式。
數據采集,顧名思義采集相應的數據,是整個數據流的起點,采集的全不全,對不對,直接決定數據的廣度和質量,影響后續所有的環節。在數據采集有效性,完整性不好的公司,經常會有業務發現數據發生大幅度變化。
數據的處理,通常由以下5步構成:
2. 常見數據問題
大體知道數據采集及其架構之后,我們看看工作中遇到的問題,有多少是跟數據采集環節有關的:
- 數據和后臺差距很大,數據不準確-統計口徑不一樣、埋點定義不一樣、采集方式帶來誤差;
- 想用的時候,沒有我想要的數據-沒有提數據采集需求、埋點不正確不完整;
- 事件太多,不清楚含義-埋點設計的方式、埋點更新迭代的規則和維護;
- 分析數據不知道看哪些數據和指標-數據定義不清楚,缺乏分析思路。
我們需要根源性解決問題:把采集當成獨立的研發業務來對待,而不是產品研發中的附屬品
二、埋點是什么
1. 埋點是什么
所謂埋點,就是數據采集領域的術語。它的學名應該叫做事件追蹤,對應的英文是Event Tracking? 指的是針對特定用戶行為或事件進行捕獲,處理和發送的相關技術及其實施過程。
數據埋點是數據分析師,數據產品經理和數據運營,基于業務需求或者產品需求對用戶行為的每一個事件對應位置進行開發埋點,并通過SDK上報埋點的數據結果,記錄匯總數據后進行分析,推動產品優化和指導運營。
流程伴隨著規范,通過定義我們看到,特定用戶行為和事件是我們的采集重點,還需要處理和發送相關技術及實施過程;數據埋點是服務于產品,又來源于產品中,所以跟產品息息相關,埋點在于具體的實戰過程,跟每個人對數據底層的理解程度有關。
2. 為什么要做埋點
埋點就是為了對產品進行全方位的持續追蹤,通過數據分析不斷指導優化產品。數據埋點的質量直接影響到數據,產品,運營等質量。
- 數據驅動-埋點將分析的深度下鉆到流量分布和流動層面,通過統計分析,對宏觀指標進行深入剖析,發現指標背后的問題,洞察用戶行為與提升價值之間的潛在關聯;
- 產品優化-對產品來說,用戶在產品里做了什么,停留多久,有什么異常都需要關注,這些問題都可以通過埋點的方式實現;
- 精細化運營-埋點可以貫徹整個產品的生命周期,流量質量和不同來源的分布,人群的行為特點和關系,洞察用戶行為與提升業務價值之間的潛在關聯。
3. 埋點的方式
埋點的方式都有哪些呢,當前大多數公司都是客戶端,服務端相結合的方式:
準確性:代碼埋點>可視化埋點>全埋點
三、埋點的框架和設計
1. 埋點采集的頂層設計
所謂的頂層設計就是想清楚怎么做埋點,用什么方式,上傳機制是什么,具體怎么定義,具體怎么落地等等;我們遵循唯一性,可擴展性,一致性等的基礎上,我們要設計一些通用字段及生成機制,比如:cid, idfa,idfv等。
- 用戶識別:用戶識別機制的混亂會導致兩個結果:一是數據不準確,比如UV數據對不上;二是涉及到漏斗分析環節出現異常。因此應該做到:a.嚴格規范ID的本身識別機制;b.跨平臺用戶識別;
- 同類抽象: 同類抽象包括事件抽象和屬性抽象。事件抽象即瀏覽事件,點擊事件的聚合;屬性抽象,即多數復用的場景來進行合并,增加來源區分;
- 采集一致:采集一致包括兩點:一是跨平臺頁面命名一致,二是按鈕命名一致;埋點的制定過程本身就是規范底層數據的過程,所以一致性是特別重要,只有這樣才能真正的用起來;
- 渠道配置:渠道主要指的是推廣渠道,落地頁,網頁推廣頁面,APP推廣頁面等,這個落地頁的配置要有統一規范和標準。
2. 埋點采集事件及屬性設計
在設計屬性和事件的時候,我們要知道哪些經常變,哪些不變,哪些是業務行為,哪些是基本屬性。
基于基本屬性事件,我們認為屬性是必須采集項,只是屬性里面的事件屬性根據業務不同有所調整而已,因此,我們可以把埋點采集分為協議層和業務層埋點。
- 業務分解:梳理確認業務流程、操作路徑和不同細分場景、定義用戶行為路徑
- 分析指標:對特定的事件進行定義、核心業務指標需要的數據
- 事件設計:APP啟動,退出、頁面瀏覽、事件曝光點擊
- 屬性設計:用戶屬性、事件屬性、對象屬性、環境屬性
3. 數據采集事件及屬性設計
Ev事件的命名,也遵循一些規則,同一類功能在不同頁面或位置出現時,按照功能名稱命名,頁面和位置在ev參數中進行區分。僅是按鈕點擊時,按照按鈕名稱命名。
ev事件格式:ev分為ev標識和ev參數
規則:
ev標識和ev參數之間用“#”連接(一級連接符);
ev參數和ev參數之間用“/”來連接(二級連接符);
ev參數使用key=value的結構,當一個key對應多個value值時,value1與value2之間用“,”連接(三級連接符);
當埋點僅有ev標識沒有ev參數的時候,不需要帶#;
備注:
ev標識:作為埋點的唯一標識,用來區分埋點的位置和屬性,不可變,不可修改;
ev參數:埋點需要回傳的參數,ev參數順序可變,可修改;)
app埋點調整的時,ev標識不變,只修改后面的埋點參數(參數取值變化或者增加參數類型)
eg:一般埋點文檔中所包含的sheet名稱以及作用:
A、曝光埋點匯總;
B、點擊和瀏覽埋點匯總;
C、失效埋點匯總:一般會記錄埋點失效版本或時間;
D、PC和M端頁面埋點所對應的pageid;
E、各版本上線時間記錄;
埋點文檔中,所有包含的列名及功能:
4. 基于埋點的數據統計
用埋點統計數據怎么查找埋點ev事件:
- 明確埋點類型(點擊/曝光/瀏覽)——篩選type字段
- 明確按鈕埋點所屬頁面(頁面或功能)——篩選功能模塊字段
- 明確埋點事件名稱——篩選名稱字段
- 知道ev標識,可直接用ev來進行篩選
根據ev事件怎么進行查數統計:當查詢按鈕點擊統計時,可直接用ev標識進行查詢,當有所區分可限定埋點參數取值;因為ev參數的順序不做要求可變,所以查詢統計時,不能按照參數的順序進行限定;
四、應用-數據流程的基礎
1. 指標體系
體系化的指標可以綜合不同的指標不同的維度串聯起來進行全面的分析,會更快的發現目前產品和業務流程存在的問題。
2. 可視化
人對圖像信息的解釋效率比文字更高,可視化對數據分析極為重要,利用數據可視化可以揭示出數據內在的錯綜復雜的關系。
3. 埋點元信息api提供
數據采集服務會對采集到的埋點寫入到 Kafka 中,對于各個業務的實時數據消費需求,我們為每個業務提供了單獨的 Kafka,流量分發模塊會定期讀取埋點管理平臺提供的元信息,將流量實時分發的各業務 Kafka 中。
數據采集猶如設計產品,不能過度,留出擴展余地,但要經常思考數據有沒有,全不全,細不細,穩不穩,快不快。
作者:趙小洛,wechat:luoluo963,郵箱:youlu2409@163.com;公眾號:趙小洛洛洛,歡迎關注我的微信公眾號,給我留言數據相關話題。
本文由 @趙小洛 原創發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于CC0協議。
努力消化 ??
看暈了,這么專業的嗎
太猛了,感謝!