埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

0 評論 1530 瀏覽 7 收藏 16 分鐘

本文主要圍繞埋點建設(shè)方法和埋點管理平臺建設(shè),介紹了埋點構(gòu)建的“3S方法”和“4層次”,以及進(jìn)行埋點場景化梳理和結(jié)構(gòu)化劃分的方法、規(guī)范化的埋點數(shù)據(jù)采集、定義清晰的埋點命名規(guī)范。

之前寫了埋點的系列文章《01初識埋點》《02業(yè)務(wù)需求分析》《03埋點文檔設(shè)計》等,本篇主要介紹埋點建設(shè)方法和埋點管理平臺建設(shè),補(bǔ)足04篇埋點管理平臺和06篇埋點質(zhì)量的內(nèi)容。

一、概述

隨著企業(yè)中的各應(yīng)用中添加的埋點逐步增多,會有成千上萬個埋點事件,并且隨著埋點多個版本的迭代,線上文檔維護(hù)較為混亂。

對于埋點使用者而言,埋點取數(shù)邏輯不清晰,埋點準(zhǔn)確率存疑;埋點命名和頁面結(jié)構(gòu)管理混亂,找對應(yīng)埋點耗時耗力;埋點重復(fù)建設(shè),不知道用哪個埋點。

對于埋點開發(fā)者而言,埋點需求較多,開發(fā)壓力大;建設(shè)了大規(guī)模的埋點,服務(wù)器存儲計算成本高,但不知道哪些埋點可以下線。

那有什么系統(tǒng)化的解決方案,規(guī)避這些問題呢?

基于“3S方法+4層次”的建設(shè)方案,采用經(jīng)驗方法與產(chǎn)品服務(wù)建設(shè)并行的方式,提升埋點質(zhì)量和埋點使用效率。(如下圖所示)

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

3S方法:包含“結(jié)構(gòu)化、場景化、規(guī)范化”的建設(shè)方法;

4層次:貫穿數(shù)據(jù)的“采-建-管-用”,包含數(shù)據(jù)采集層、存儲計算層、產(chǎn)品服務(wù)層、場景應(yīng)用層。

  • 數(shù)據(jù)采集層:使用代碼埋點、可視化埋點、全埋點多種方式采集數(shù)據(jù);
  • 數(shù)據(jù)存儲計算層:劃分ods-dwd-dws-app數(shù)倉分層,規(guī)范數(shù)據(jù)存儲與計算;
  • 產(chǎn)品服務(wù)層:建設(shè)應(yīng)用接入、事件/屬性接入、模塊/頁面/事件/屬性管理、埋點測試能力;
  • 場景應(yīng)用層:可應(yīng)用至用戶行為分析、人群圈選、自動化營銷、廣告監(jiān)測等場景。

二、“3S”方法

1. 場景化

埋點場景化建設(shè),主要是指從埋點的實際使用場景切入,拆分相關(guān)運(yùn)營模型,從產(chǎn)品運(yùn)營策略倒推需要建設(shè)哪些埋點數(shù)據(jù),最常用到的分析模型是OSM模型、UJM模型。

OSM:即目標(biāo)、策略、度量,在什么業(yè)務(wù)目標(biāo)下,需要采取哪些策略,需要統(tǒng)計哪些指標(biāo),需要采集哪些埋點數(shù)據(jù)。

UJM:是一種常用的用戶行為路徑分析方法,分析用戶行為旅程上有哪些觸點、需要統(tǒng)計的數(shù)據(jù)。例如之前在《02業(yè)務(wù)需求分析》埋點需求梳理文章中寫到的,通過梳理用戶訪問首頁、訪問詳情頁、訂單頁、支付頁等頁面核心流程,再確定指標(biāo)。

2. 結(jié)構(gòu)化

埋點結(jié)構(gòu)化建設(shè),旨在解決埋點混亂、重復(fù)建設(shè)、難以查找的問題。通過建設(shè)清晰的分類結(jié)構(gòu),助力數(shù)據(jù)方有序建設(shè)埋點、業(yè)務(wù)方高效使用埋點數(shù)據(jù)。埋點體系的結(jié)構(gòu)化建設(shè)可包含兩種方式:按應(yīng)用劃分、按頁面結(jié)構(gòu)+業(yè)務(wù)劃分

(1)按應(yīng)用劃分

以易到用車這類小型企業(yè)為例,其存在司機(jī)端app、乘客端app、小程序、web、以及內(nèi)部的各后臺系統(tǒng)等不同應(yīng)用。每個應(yīng)用需要埋點,不同應(yīng)用背后對應(yīng)著不同的運(yùn)營團(tuán)隊,可先按應(yīng)用劃分,以更好地應(yīng)對應(yīng)用增減功能時,及時上下線對應(yīng)埋點。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

(2)按“頁面結(jié)構(gòu)+業(yè)務(wù)”劃分

以易到app應(yīng)用為例,如下圖,按頁面結(jié)構(gòu)劃分可拆解為用車、接送機(jī)、我的等頁面,并且拆分2-3級子頁面。這里要注意的是,按頁面劃分也不建議劃分太深的層次結(jié)構(gòu),不然查找或管理對應(yīng)埋點多為不便。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

因而,對于存在業(yè)務(wù)線較多的企業(yè)來說,在頁面結(jié)構(gòu)劃分的基礎(chǔ)上,可增加按業(yè)務(wù)劃分。例如,以電商業(yè)務(wù)為一級,對應(yīng)的電商類模塊如輪播、商品列表頁等均歸于該模塊下,方便對應(yīng)業(yè)務(wù)線的產(chǎn)品運(yùn)營同學(xué)使用。

3. 規(guī)范化

(1)埋點字段采集規(guī)范

埋點規(guī)范化建設(shè),基于“4W1H”的方法全面采集埋點字段,保障埋點數(shù)據(jù)的完整性。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

who:誰進(jìn)行了操作?用戶的唯一標(biāo)識,如IMEI、cookieid等

when:什么時候操作的?如timestamp時間戳

where:在哪些頁面操作?如cityid

how:用戶如何操作?如click點擊、view瀏覽

what:有哪些附加信息?如頁面類型、頁面標(biāo)題、價格

例如“路飛在上午10點,瀏覽了價格為100元的牛肉干商品詳情頁”,輸出標(biāo)準(zhǔn)需求文檔規(guī)范,詳情見《03埋點文檔設(shè)計》。

(2)埋點命名規(guī)范

埋點命名=業(yè)務(wù)_頁面_位置_埋點類型,例如“car_order_paybutton_click”。通過規(guī)范的命名,可提升業(yè)務(wù)的可讀性,方便理解。

三、4層次

依照上述介紹的場景化、結(jié)構(gòu)化、規(guī)范化的方法,建設(shè)埋點體系架構(gòu),涵蓋4個層次,包括數(shù)據(jù)采集層、數(shù)據(jù)存儲層、埋點平臺層、應(yīng)用場景層。

1. 數(shù)據(jù)采集層

數(shù)據(jù)采集是所有后續(xù)數(shù)據(jù)服務(wù)的基礎(chǔ),采集數(shù)據(jù)需要全面且細(xì)致。數(shù)據(jù)采集的流程是,用戶觸發(fā)上報行為日志,由flume采集到HDFS形成原始日志。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

flume是當(dāng)前常見的數(shù)據(jù)采集工具。flume作為Hadoop的組件,是一個分布式、高可靠、高可用的海量日志采集、聚合、傳輸?shù)南到y(tǒng)??衫斫鉃閾启~的時候,用漁網(wǎng)工具捕魚,然后將魚放進(jìn)簍子里,這里的漁網(wǎng)就是flume工具。

flume中傳輸?shù)膬?nèi)容定義為事件(event),flume提供SDK,可支持用戶定制開發(fā),因而一般埋點平臺也會提供SDK包,供各個業(yè)務(wù)線使用。

SDK的能力,例如下所示,一般包含埋點方式以及采集的一些公共屬性。埋點方式包含自定義代碼埋點(包含前端和后端埋點)、全埋點、可視化埋點,其適用場景及區(qū)別見《01初識埋點》。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

2. 存儲計算層

數(shù)據(jù)存儲計算層:劃分ods-dwd-dws-app數(shù)倉分層,規(guī)范數(shù)據(jù)存儲與計算。

ODS層原始日志,經(jīng)過如異常值過濾、去重等ETL處理規(guī)則,形成用戶行為明細(xì)數(shù)據(jù)到DWD;DWD層行為明細(xì)數(shù)據(jù)經(jīng)過輕度匯總,得到用戶行為寬表到DWS;DWS輕度匯總用戶寬表,按應(yīng)用主題劃分,加工成不同的指標(biāo)到APP層,供各產(chǎn)品/分析場景使用。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

3. 埋點平臺層

埋點系統(tǒng)層,圍繞“增-測-看-用-下”,建設(shè)應(yīng)用接入、事件/屬性接入、埋點測試、模塊/頁面/事件/屬性查看、編輯、下線能力。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

(1)埋點生產(chǎn)

埋點生產(chǎn)包含數(shù)據(jù)接入、新增頁面、新增事件/屬性、埋點開發(fā)、埋點測試五個環(huán)節(jié)。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

①數(shù)據(jù)接入

埋點平臺側(cè)為各業(yè)務(wù)提供不同端的埋點SDK,例如web、iOS、Android等,業(yè)務(wù)側(cè)的研發(fā)可按規(guī)范接入對應(yīng)埋點。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

當(dāng)企業(yè)所需埋點的應(yīng)用/系統(tǒng)較多時,為了更便捷地管理各個應(yīng)用的埋點,需要給應(yīng)用賦予應(yīng)用ID和key標(biāo)識。研發(fā)安裝對應(yīng)埋點SDK后,在代碼中加入應(yīng)用ID進(jìn)行標(biāo)識。

②新增頁面

由于埋點通常會涉及較多頁面,常有重復(fù)進(jìn)行埋點,或是找不到對應(yīng)頁面上埋點的問題。因而需要做好頁面結(jié)構(gòu)管理,劃分并管理頁面層級結(jié)構(gòu),填寫頁面名稱、父級頁面、頁面鏈接等信息,進(jìn)行頁面管理。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

該模塊要注意的是,劃分好權(quán)限管控,若所有人均可新建頁面,頁面建設(shè)會較為混亂,缺乏清晰的結(jié)構(gòu),后續(xù)也不能及時更新頁面。劃分業(yè)務(wù)管理員和普通用戶的角色,由業(yè)務(wù)管理員來添加管理對應(yīng)頁面,普通用戶進(jìn)行查看。

③新增事件/屬性

線下Excel維護(hù)了較多的不同頁面下、不同版本的埋點事件,容易混亂。因而需要再系統(tǒng)上添加對應(yīng)時間和屬性數(shù)據(jù),進(jìn)行統(tǒng)一管理。新建事件時需要添加三類信息:

一是事件標(biāo)識信息,進(jìn)行事件的標(biāo)識及含義維護(hù),該模塊跟埋點需求文檔的字段對應(yīng)。主要包含事件英文名、中文名、事件類型(如瀏覽、曝光、點擊)、觸發(fā)時機(jī)、事件所在的頁面、事件截圖等;

二是事件分類信息,方便進(jìn)行事件的分類查詢,特別是業(yè)務(wù)比較多的企業(yè)。包含事件所屬業(yè)務(wù)(如出行、金融、電商)、端(如app、web、小程序);

三是屬性信息,添加事件對應(yīng)的屬性。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

(2)埋點測試

產(chǎn)品/運(yùn)營在平臺中錄入對應(yīng)埋點事件后,研發(fā)同學(xué)按需進(jìn)行開發(fā),開發(fā)完成后,進(jìn)行測試驗收。埋點人工測試主要根據(jù)上報日志進(jìn)行數(shù)據(jù)校驗。在界面上填寫設(shè)備ID和事件名,并查看測試報告,方便查看數(shù)據(jù)。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

(3)埋點地圖

不同端、不同業(yè)務(wù)線的埋點建設(shè)的比較多的情況下,業(yè)務(wù)如何快速查找到所需的埋點數(shù)據(jù)。埋點數(shù)據(jù)地圖主要是運(yùn)用分類思維,通過各種篩選組合,助力業(yè)務(wù)快速查詢埋點事件數(shù)據(jù)。

【探尋one piece的埋點之旅】04埋點方法及管理平臺設(shè)計——橡膠jet戰(zhàn)斧

篩選項的構(gòu)建和事件元信息的查看,一是基于前置的新增埋點事件所填寫的數(shù)據(jù),二是統(tǒng)計埋點相關(guān)PV、UV數(shù)據(jù),方便用戶了解事件的命中量,同時可操作對一些無用埋點事件進(jìn)行下線處理,降低存儲成本。

從功能層面來看,埋點平臺功能的構(gòu)建比較簡單,復(fù)雜度較低,做好埋點事件/屬性/頁面的增刪改查,加埋點測試,再增減一些簡易的分析,加些權(quán)限管控,就滿足了基本的管理需求。

4. 應(yīng)用場景層

場景應(yīng)用層:可應(yīng)用至用戶行為分析、人群圈選、自動化營銷、廣告監(jiān)測、推薦算法等各個需要數(shù)據(jù)的場景。本篇暫不展開,后續(xù)更新用戶行為分析篇。

四、小結(jié)

本篇主要介紹了埋點構(gòu)建的“3S方法”和“4層次”。

運(yùn)用OSM、OJM方法進(jìn)行埋點場景化梳理;按應(yīng)用、頁面結(jié)構(gòu)、業(yè)務(wù)進(jìn)行埋點結(jié)構(gòu)化劃分;基于4W1H規(guī)范化埋點數(shù)據(jù)采集,以及定義清晰的埋點命名規(guī)范。

貫穿埋點數(shù)據(jù)的“采-建-管-用”,基于flume工具進(jìn)行埋點數(shù)據(jù)采集;基于數(shù)倉分層模型,進(jìn)行數(shù)據(jù)存儲與計算;建設(shè)事件/屬性/頁面的增刪改查能力,以及埋點測試等能力;推動埋點數(shù)據(jù)在多個場景應(yīng)用。

專欄作家

草帽小子,公眾號:一個數(shù)據(jù)人的自留地,人人都是產(chǎn)品經(jīng)理專欄作家?!洞髷?shù)據(jù)實踐之路:數(shù)據(jù)中臺+數(shù)據(jù)分析+產(chǎn)品應(yīng)用》書籍作者,專注用戶畫像領(lǐng)域。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!