如何進行數據埋點設計?

28 評論 16401 瀏覽 211 收藏 21 分鐘

數據分析的目的是要解決特定業務場景下的業務問題,通過數據埋點可以提高數據分析的質量。那么該如何進行數據埋點設計?本文總結了數據埋點相關流程,希望對你有所啟發。

為了更好的實現公司的商業目標,用戶體驗越來越受重視。很多互聯網公司都會成立UED部門,會搭建UE設計規范體系、UI設計規范體系,但是實際推動產品實現商業目標的過程中,會發現僅有這兩套體系是不夠的。因為這兩套規范體系,主要是提高對內的開發協作效率,雖然也會在一定程度上對提升產品品牌一致性等也有一定的幫助,但這遠遠不夠。

因此,很多集團公司會搭建:“UE設計規范體系、UI設計規范體系、數據埋點規范體系” 三位一體的閉環式規范體系。

通過數據埋點規范體系的搭建,可以保持數據埋點的規范性、提高開發埋點的速度和質量,保持數據分析口徑的一致性,從而提高數據分析質量。同時可以更好的監測和解決特定業務場景下的業務問題,用戶在操作流程中的受阻問題、用戶在下單過程中的中斷問題等,為迭代收集有效依據,為提升業務目標和用戶體驗指明方向性。

數據分析埋點要采用“以終為始”的解決方案,數據分析的目的是要解決特定業務場景下的業務問題。需要進一步把業務問題根據“業務目的”拆解成多個子問題,才能轉成數據問題,才能基于此搭建分析框架。

(有的公司有專門的數據分析崗位,有的公司則是由產品經理、用戶體驗設計師或者業務需求方來承擔此角色。文中統一寫:數據分析師)

一、數據埋點是什么?

埋點分析,是一種常用的數據采集方法,指在需要采集數據的“操作節點”將數據采集的程序代碼附加在功能程序代碼中,對操作節點上用戶行為或事件進行捕獲、處理和發送相關技術及其實施過程。數據埋點是一種良好的私有化部署數據采集方式。

數據埋點分為初級、中級、高級三種方式,分別為:

初級:在產品、服務轉化關鍵點植入統計代碼,據其獨立ID確保數據采集不重復(如購買按鈕點擊率)

中級:植入多段代碼,追蹤用戶在平臺每個界面上的系列行為,事件之間相互獨立(如打開商品詳情頁 一 選擇商品型號 一 加入購物車 一 下訂單一購買完成)

高級:聯合公司工程、ETL采集分析用戶全量行為,建立用戶畫像,還原用戶行為模型,作為產品分析、優化的基礎。

二、為什么要進行數據埋點?

數據埋點是一種常用的數據采集方法,可方便產品、運營系統性的統計分析用戶數據。通過采集用戶在購買商品或者進行軟件操作過程中的行為數據,通過埋點進行上報,便于后續分析用戶行為與洞察用戶偏好。

數據埋點做得好,能夠方便分析業務問題,快速得出結論,同時輔助業務方進行決策,以實現業務目標,形成閉環。

三、數據埋點的分類及方式

數據埋點的方法根據其位置不同,可分為前端埋點后端埋點

前端埋點通過SDK進行數據采集,為了減少數據流量,通常對采集的數據進行壓縮、暫存、打包上報。對于那些不需要實時上報的事件,通常只在Wi-Fi環境下上報,因此會出現數據上報的延遲與漏報現象。

后端埋點通過調用API (Application Programming Interface) 采集信息,使用內網傳輸信息,基本不會因為網絡原因丟失數據,所以后端傳輸的數據可以非常真實地反映用戶行為。

理論上,只要客戶端向服務器發送請求,服務器埋點就能夠收集到相應的數據。相比于前端埋點,后端埋點能實時采集數據,不存在延時上報現象,數據很準確;并且后端埋點支持與用戶身份信息和行為附帶屬性信息的整合;另外,每次上線新的埋點或者更新埋點時,發布后埋點馬上生效。

四、數據埋點能夠采集哪些用戶數據

網站或者App能夠采集到用戶的四類信息:設備硬件信息、軟件能力、數據權限、用戶行為

1、設備的硬件信息,如設備品牌、型號、主板、CPU、屏幕分辦率等;

2、軟件能力,就算沒有點擊網頁或者App、橫豎屏、截屏、搖一搖等操作也會被記錄下來;

3、數據權限,新注冊某款軟件時,對于相冊、通訊錄、GPS等比較私密的信息一般會跳出讓用戶授權的頁面,如果用戶同意授權,那么網頁或者App就能夠采集到這些信息;

4、用戶行為,用戶只要對網頁或者App進行操作,行為都會被記錄下來。

雖然網站或App在用戶授權的情況下可以采集用戶的各類數據,但是在做數據埋點文檔的時候,并不需要追求大而全,根據業務方的需求文檔對相應的行為進行埋點記錄即可。

五、數據埋點方案設計流程

數據埋點是數據治理流程中重要的一環,是一項需多部門協作共同完成的工作,數據分析師在整個流程中承擔著重要的角色,數據分析師從數據需求評估階段直至數據應用階段都需要參與。

在數據埋點這項工作中,需要立足于當前的數據需求,提煉出數據指標方案,并且構思這些指標需要哪些數據,這些數據也就是需要的埋點。

當然,這只是一些初步的埋點方案,想要讓埋點變得“準”而“全”,還需要另外一些方法才能實現,比如用戶路徑等。有了初步的埋點規劃之后,還需要確定時間觸發機制和上報機制,因為不同的機制意味著不同的統計口徑。

對于新業務方來說,為了避免因統計口徑不一致而出現烏龍事件,統計指標最好能和之前的口徑一致,以方便橫向比較。

除此之外,統一各個項目之間的字段名和表結構也是一項必不可少的工作,這個步驟也是數據治理流程中必不可少的環節。完成這些步驟之后,一份初步的埋點方案就完成了。

然后在和業務方及前端、后端工程師的反復討論中修改完善埋點文檔,將埋點文檔交付前、后端工程師進行埋點,在此期間數據分析師需要通過測試環境的數據驗證當前埋點是否存在問題,若有問題,還可以在該階段進行修改,若無問題可部署埋點事件上線。

六、通過六個步驟實現數據埋點設計

1、確認事件與變量

事件是指產品中的功能或者用戶的操作,變量是指描述事件的屬性或者關鍵指標。確認事件與變量可以通過AARRR ( Acquisition Activation Retention Revenue Referral〉 海盜模型或者UJM(User Journey Map,用戶旅程圖)模型進行逐步拆解,理清用戶生命周期和行為路徑,抽象出每一個步驟的關鍵指標。(這三個模型單獨在新文章中分析)

2、明確事件的觸發時機

不同的觸發時機代表著不同的事件計算口徑,因此觸發時機是影響數據準確性的重要因素。二者口徑不同,數據肯定會有一定差異,因此明確事件的觸發條件非常重要。

以用戶付款為例,是以用戶點擊付款界面作為觸發條件,還是以付款成功作為觸發條件進行埋點呢?在用戶付款這個例子中,建議使用兩個字段記錄用戶付款行為:一個字段記錄點擊付款界面這個行為,另一個字段記錄是否付款成功。

3、明確事件的上報機制

上報機制也是數據準確性的重要影響因素之一??蛻舳松蠄髷祿赡軙捎诰W絡連接原因出現丟包的情況。數據分析師在完成埋點工作的時候也需要確定數據是實時上報還是異步上報,以確定埋點是否合理,并及時調整數據埋點方案。

4、統一表結構

統一數據表結構,可方便團隊內部進行數據的管理和數據復用,建議在團隊內部形成一套統一的數據結構規范。例如,將表分為不同的層級,第一層記錄用戶的基礎信息,包括用戶、地區、昵稱等;第二層記錄用戶行為信息。

5、統一字段名規范

有了統一的數據表結構規范還不夠,統一數據命名規范也是數據埋點工作的重要一環。如果有條件的話,可以建立數據字典,以統一數據命名規范。例如,確保同一變量在所有的數據表中都用統一的字段名。對于消費金額這個字段,數據分析師希望所有的表中只要出現消費金額都Amount字段名,不要出現money、payment等其他字段名。

建立公司內部或者團隊內部的命名規范是非常必要的,可以采用動詞+名詞或者名詞+動詞的規則來命名,比如“加入購物車”事件,就可以命名為:addTocart。

6、明確優先級

數據埋點是為數據應用做鋪墊的。埋點之后,數據分析師可能面臨著搭建指標體系和數據報表體系的工作,可以根據報表的優先級、埋點的技術、實現成本及資源的有限性,為數據埋點確定優先級。

下面舉個實際案例:

之前在某集團公司負責過電商類數據埋點設計。公司有很多子品牌和不同的業務線,當時做的埋點設計,主要是針對商標交易業務。

(1)需求背景

商標庫商標有100W+,但是由于之前的商標排序算法機制不合理,點擊行為占了排序的很大權重,導致長時間賣不出去的商標排序反而更靠前,需要人工操作處理,耗時且工作量大。為了解決這一問題,當時設計了時間衰減模型,同時業務線也希望商品能實現千人千面的智能推薦。

(2)數據埋點設計流程總覽

(3)數據埋點流程實操步驟

①確認事件與變量——通過UJM模型拆分用戶購買商品的路徑

將用戶購買路徑拆分為注冊、登錄、商品曝光、商品點擊、瀏覽頁面詳情、加入購物車、生成訂單、訂單支付等步驟。根據產品經理提出的數據需求,確定每一個步驟需要哪些字段才能實現數據需求。

②確認觸發機制

明確是在點擊按鈕時記錄行為還是在用戶完成該步驟時記錄行為。

③確認上報機制

明確數據上報機制是實時上報還是異步上報。不同的上報機制采集到的字段可能不一樣,或者說需要將字段拆分到不同表中進行記錄。

④統一字段名

業務數據集內同一變量在所有的數據表中都使用統一的字段名。例如,用戶編號用account_id、用戶所屬國家用region、用戶所屬地區用ip_region等。

⑤統一表層級結構

采用多層數據表結構:第一層存放通用信息,第二層存放用戶基本信息,第三層存放用戶行為信息。表層級結構可以根據團隊內部的數據接入規范進行調整,采用統一的結構。

⑥明確優先級

根據埋點需求的緊急程度,給每一個埋點任務標上優先級。根據上面的六個步驟,將每一個步驟需要記錄的字段按照標準格式匯總到文檔中,即可完成初步的埋點設計。之后,還需要與產品經理、策劃人員和前端、后端工程師一起反復討論,不斷修改完善文檔,直至三方會談達成統一意見,最終埋點文檔。

七、數據埋點各方協作的注意事項

1、需求分析

一般由業務方發起需求,產品經理或者運營基于自己的業務場景,明確核心指標和分析需求。在建立產品數據指標體系之初,尤其需要關注「核心」的場景,對核心指標進行優先埋點。在明確分析需求的基礎上進行埋點方案設計。

2、需求評審

由數據團隊主導,召集提出需求的業務方和開發團隊共同參與。既需要與需求方確認方案設計是否符合業務需求,也需要確認開發團隊已完全理解業務語境,并確認需求開發的可行性。需求評審可能需要召集多次,但是必須達到需要業務方(市場、運營、產品經理等)、數據規劃師(數據產品、數據分析師等)、開發三方一致,才能進入開發環節。

(如果沒有專門設置數據分析崗位,可由用戶體驗設計師、產品經理承擔,需求方承擔該角色)

3、 埋點方案執行

在方案執行環節,需要數據團隊和開發團隊共同進行。數據團隊需在分析平臺的數據管理模塊中進行相應的配置,例如,在數據管理模塊中,對埋點事件以及相關的變量進行配置。開發團隊則根據埋點方案,確認埋點可行性和排期,進行相應的代碼部署,負責埋點開發、測試和上線。

4、數據校驗

在開發團隊完成開發和測試后,需要數據團隊進行數據校驗后再正式部署上線。數據校驗時,重點確保數據觸發時機正確,確保入口覆蓋完全。

5、數據使用

埋點上線后,業務方和數據團隊即可使用數據分析平臺,對上報的埋點數據進行監控和分析。

整個過程中三方需要相互配合,如果缺乏明確的協作流程,可能會導致埋點周期漫長,甚至漏埋錯埋的結果。想要提高埋點的質量和效率,團隊協作至關重要,建議明確協作的流程,并規范流程中各方的職責。

八、數據埋點其他注意事項

1、明確產品目標和首要問題,從深層次和具體的需求進行梳理。

2、同級頁面操作和同頁面多來源為一個事件,不同的操作內容和頁面來源作為事件的屬性進行采集。

3、在分析的初期采集少量重要的用戶行為,快速獲取成果。

4、核心流程盡量每一步用戶行為都需要獲取數據。

5、數據統計口徑要確定清楚,與開發保持良好溝通,將埋點的具體采集時機傳達給開發。

6、埋點結束后,需要驗證數據的有無和準確性,而不僅僅是埋點是否有數據返回。

7、不要一次性全方位無死角進行埋點,工作量巨大且大量數據反而引起干擾混亂,建議分階段分版本進行埋點。

九、總結

對于數據分析的結果,要考慮是給數據結論就可以了,還是需要做成分析報告?是給數據報表就可以了,還是需要做成BI在線報表?做得越深的事情意味著需要付出更多的精力和成本,同時也需要有更高的價值支撐。在輸出數據分析結果時,需要注意的是對需求交付目標把控,要和價值匹配:

(1)避免用力過度:業務只需要臨時看一眼指標,竟然收到一份完整的分析報告。

(2)避免不及預期:業務期望從分析師結論建議中找到功能迭代的方向,卻只收到一份結果數據的呈現報表。

所有形式的產品到最后都必須要能經得起市場和用戶(客戶)的檢驗。數據分析是幫助我們實現產品商業價值的重要工具之一,工具有效與否、好用與否,不在于工具本身,主要在于使用工具的人。希望我們都能借助此工具,更好的幫公司產品實現商業目標。

專欄作家

忻蕓,人人都是產品經理專欄作家。專注于B端、SaaS產品,擅長技能用戶體驗設計、交互設計、用戶研究、數據分析、項目管理。

本文原創發布于人人都是產品經理,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議。

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 老師(*?▽?*),我也想學習老師的埋點文檔。老師方便的時候分享到我的郵箱207201853@qq.com謝謝老師(*?▽?*)

    來自北京 回復
  2. 老師您好,拜讀了您的文章,感覺很受用,還請方便時分享一下您的埋點文檔,感謝哦!954279562@qq.com

    來自廣東 回復
  3. 老師您好,文章講的很細,請問可以分享一下您埋點文檔的模板嗎?2770189231@qq.com

    來自廣東 回復
  4. 老師可以分享下你的埋點模板嗎,十分感謝,寫的很好,565384601@qq.com

    來自湖南 回復
  5. 老師您好,我看完了這篇文章,學到很多,可以分享一下您數據埋點文檔的模板嗎,我學習一下 1936059128@qq.com,感謝老師

    來自重慶 回復
  6. 寫得很好,受益匪淺。能分享一下數據埋點文檔模板嘛,希望可以學習一下。2227434345@qq.com

    來自廣東 回復
  7. 老師您好,文章講的很好,請問可以分享一下您埋點文檔的模板嗎?1281472623@qq.com

    來自江蘇 回復
  8. 太好了!這個埋點相當的明白

    來自四川 回復
  9. 老師您好,您這篇文章對數據買點分析的很透徹,并且寫的通俗易懂,太厲害了,您是怎么做到及專精又廣博的,想跟你學習,當面請教。

    來自北京 回復
    1. 感謝,希望以后能有機會交流。

      來自北京 回復
  10. 老師您好,我是公眾號《PM產品小6》的號主,這篇文章對數據埋點分析透徹,想轉載分享,希望能獲得您的允許,謝謝!

    來自廣東 回復
    1. 可以的。備注Id即可

      來自北京 回復
    2. 好的,感謝老師!

      來自廣東 回復
  11. 請問可以分享一下您的埋點文檔的模板嗎?

    來自四川 回復
    1. 可以的

      來自北京 回復
    2. 請求分享+1

      來自四川 回復
    3. 這個是我的郵箱,1573252674@qq.com 謝謝博主

      來自四川 回復
    4. 老師您好,我也想學習一下您的模板,這是我的郵箱1272131706@qq.com

      來自河南 回復
    5. 老師,我也想學習老師的埋點文檔。老師方便分享到我的郵箱keqen@foxmail.com嗎,謝謝老師(*?▽?*)

      來自廣東 回復
    6. 老師您好! 您講的太好了,是否可以分享一下埋點的模版,這是我的郵箱756897926@qq.com,期盼您的分享??

      來自浙江 回復
    7. 你好同學在嗎?我也想學習老師的埋點文檔??蠢蠋熁貜湍懔藨撌前l你郵箱了吧,方便的時候可以分享到我的郵箱207201853@qq.com謝謝

      來自北京 回復
  12. 您好博主,我是公眾號《桑小榆呀》號主。此篇文章我覺得很好讓大多數人有了深刻的思考以及幫助。因此我想轉載分享,希望能獲得您的允許,謝謝!

    來自廣東 回復
    1. 可以的

      來自北京 回復
    2. 老師您好,請問可以分享一下您的埋點文檔模板嗎?這是我的郵箱13953917106@163.com

      來自山東 回復
  13. 國慶節還更新,很敬業,不錯。

    來自廣東 回復
    1. 感謝曹老師的認可和鼓勵????

      來自北京 回復
  14. 真不容易 不同崗位在一起

    來自天津 回復
    1. 是呀。不僅要專精而且要廣博

      來自北京 回復