數(shù)據(jù)產(chǎn)品經(jīng)理:數(shù)據(jù)資產(chǎn)管理產(chǎn)品架構(gòu)規(guī)劃
編輯導(dǎo)語:數(shù)據(jù)資產(chǎn)管理與治理是數(shù)據(jù)產(chǎn)品經(jīng)理的四大方向之一。本篇文章作者為我們分享了數(shù)據(jù)資產(chǎn)模塊到底在做哪些事情,以幫助有需要的小伙伴判斷是不是可以去嘗試的數(shù)據(jù)產(chǎn)品方向。
在數(shù)據(jù)產(chǎn)品經(jīng)理從業(yè)指南相關(guān)文章中講到,數(shù)據(jù)資產(chǎn)管理與治理是數(shù)據(jù)產(chǎn)品經(jīng)理的四大方向之一。Q2開始了,近期在整理數(shù)據(jù)資產(chǎn)方向的產(chǎn)品工作規(guī)劃,順便分享一下,數(shù)據(jù)資產(chǎn)模塊到底在做哪些事情,也方便大家在未來找工作的時候(今年銅三鐵四的行情讓很多人只能靜待驚蟄了)判斷是不是可以去嘗試的數(shù)據(jù)產(chǎn)品方向。
一、用戶是誰要解決什么問題?
B端產(chǎn)品經(jīng)理工作方法論中,首要的一點(diǎn)就是搞清楚你的用戶是誰,他的訴求是什么,有哪些影響他工作效率的點(diǎn),可以通過產(chǎn)品化的方式去解決。
數(shù)據(jù)資產(chǎn)產(chǎn)品的用戶分為兩類,一是數(shù)據(jù)資產(chǎn)的生產(chǎn)者,二是資產(chǎn)的消費(fèi)者。
1. 資產(chǎn)生產(chǎn)者工作內(nèi)容及訴求
這里的生產(chǎn)者指的是數(shù)據(jù)開發(fā)者,雖然“我們不生產(chǎn)數(shù)據(jù),我們只是數(shù)據(jù)的搬運(yùn)工”,但是他們基于原始的rawdata經(jīng)過加工處理之后,生成資產(chǎn)化的數(shù)據(jù)。
上圖是很多數(shù)據(jù)開發(fā)者的“愉快”的一天,也有人調(diào)侃說他們干著“出力不討好的臟活累活”,不出問題叫數(shù)據(jù)賦能,榮耀和光環(huán)都聚焦在應(yīng)用產(chǎn)品端,出了問題就是“數(shù)據(jù)質(zhì)量有問題”?!肮び破涫拢叵壤淦鳌?,所以,作為數(shù)據(jù)資產(chǎn)產(chǎn)品經(jīng)理,給他們提供趁手的工具,可以高效快速的干活,幫助他們把自己的資產(chǎn)管理和治理好,才是對他們的一絲絲安慰。
- 開發(fā)數(shù)據(jù)的時候,ODS層、DWD層、APP層,臨時表,一堆的命名規(guī)范限制,記下來消耗CPU,記不住建模不規(guī)范事后被批還要整改。所以,能不能簡單點(diǎn),開發(fā)的方式簡單點(diǎn)。
- 睡得正稥的時候報警電話什么的最惡心了,所以,任務(wù)調(diào)度運(yùn)維的報警策略,失敗重試機(jī)制可以更AI一些么。即使非得人工處理,任務(wù)的一鍵通知、重跑能不能閉著眼睛就可以操作完接著睡覺了?
- 負(fù)責(zé)很多的數(shù)據(jù)模型,業(yè)務(wù)經(jīng)常來問數(shù)據(jù)在哪里,字段啥意思,可以不要來騷擾我嗎。所以,我想讓模型更多的被復(fù)用,但是最好自助去使用,我只想安靜去coding。
- 每次被老板指著鼻子說模型健康度差,哪個模型命名不規(guī)范,元數(shù)據(jù)缺失,任務(wù)耗時高,長時間沒人訪問。所以,可不可以提供個工作臺,就像農(nóng)民去田間看莊稼長啥樣要不要除草,讓我每天早上上班第一件事,把代辦清單的治理事項提前完成,下次老板直接周會表揚(yáng),我們要向XX同學(xué)學(xué)習(xí),開發(fā)習(xí)慣非常優(yōu)雅。
- 數(shù)據(jù)開發(fā)者除了自己不能刪庫跑路外,還需要對數(shù)據(jù)安全問題負(fù)責(zé),所以需要流程化、自動化的權(quán)限授權(quán)和審批管理流程。
2. 資產(chǎn)消費(fèi)者的場景及訴求
指使用數(shù)據(jù)的業(yè)務(wù)產(chǎn)品、運(yùn)營、分析以及二次加工的數(shù)據(jù)開發(fā)人員。作為數(shù)據(jù)消費(fèi)者,就像你去實(shí)體店或者電商平臺買東西,你希望能夠:找得到,看得見,放心用(買)。也就是說,在資產(chǎn)倉庫中,SKU覆蓋全面,并且規(guī)格參數(shù)、用法用量(元數(shù)據(jù))完備可見,幫助你決策是否是所需要的,除此之外,最好有一些客戶好評推薦或者官方認(rèn)證的童叟無欺的證明,這樣才可以放心使用,不至于掉坑里。
資產(chǎn)消費(fèi)者的主要訴求包括:
- 當(dāng)我需要用數(shù)據(jù),但是不知道數(shù)據(jù)在哪的時候,可以有工具引導(dǎo)我,從產(chǎn)品線,到數(shù)據(jù)分類可以逐步縮小范圍,最終眾里尋他千百度,啊原來你在這里。所以,需要有地圖指引的能力。
- 新入職工作交接,前輩告訴我需要的數(shù)據(jù)都在這個表里,但是求知欲比較強(qiáng)的我,希望搞清楚數(shù)據(jù)的來龍去脈,以便舉一反三,而不是僅僅改個日期參數(shù)就查數(shù)據(jù)去了,所以需要便捷的數(shù)據(jù)檢索能力。
- 數(shù)據(jù)找到了,有沒有相關(guān)的認(rèn)證,證明今天數(shù)據(jù)沒問題呢。
- 雖然內(nèi)心是拒絕騷擾數(shù)據(jù)開發(fā)者的,但是遇到邏輯不清楚,數(shù)據(jù)不確定的時候,還是想能夠找到負(fù)責(zé)人,或者其他使用過這張表墻裂推薦的人,去交流交流。
- 除了利用表進(jìn)行SQL查詢或者拖拽分析外,現(xiàn)在不都提中臺嗎,所以,還希望有可以直接可以輸出的數(shù)據(jù)服務(wù),比如指標(biāo)API、標(biāo)簽服務(wù),可以通過界面化的配置就生成了接口,DAAS嘛(數(shù)據(jù)接口即服務(wù))。
二、數(shù)據(jù)資產(chǎn)模塊的產(chǎn)品體系規(guī)劃設(shè)計
明確了用戶及其訴求,接下來就是需要通過相應(yīng)的數(shù)據(jù)產(chǎn)品來為其賦能助力了。兩類用戶可能會有重合的場景,比如數(shù)據(jù)開發(fā)者也會作為數(shù)據(jù)消費(fèi)者去使用別人開發(fā)的數(shù)據(jù),同樣,業(yè)務(wù)人員也可以自己去申請建表。所以,在資產(chǎn)產(chǎn)品架構(gòu)設(shè)計上,主要圍繞數(shù)據(jù)的匯聚、加工處理、資產(chǎn)管理、數(shù)據(jù)治理、價值輸出等環(huán)節(jié)進(jìn)行覆蓋。
1. 數(shù)據(jù)匯聚
主要解決異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)傳輸問題,數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫、產(chǎn)品端埋點(diǎn)采集或者其他第三方的API接口、FTP文件互傳,需要提供簡單通用的數(shù)據(jù)集成能力,方便把數(shù)據(jù)統(tǒng)一匯聚到中央數(shù)倉。
在產(chǎn)品功能設(shè)計時,不同的源、和目標(biāo)之間所需要的參數(shù)配置是差異化的,逐個對接解決即可。另外,數(shù)據(jù)需要每天或者實(shí)時的進(jìn)行同步消費(fèi),所以需要和調(diào)度系統(tǒng)結(jié)合,提供智能化自動化的資源調(diào)度和任務(wù)運(yùn)維能力。
所以,很多數(shù)據(jù)產(chǎn)品是把數(shù)據(jù)集成作為一種數(shù)據(jù)開發(fā)任務(wù)類型,整合在數(shù)據(jù)開發(fā)套件產(chǎn)品之中。
2. 數(shù)據(jù)加工處理
在這個環(huán)節(jié)主要是基于業(yè)務(wù)對數(shù)據(jù)使用場景進(jìn)行數(shù)據(jù)清洗和邏輯處理,包括離線數(shù)據(jù)開發(fā)和實(shí)時數(shù)據(jù)開發(fā),相當(dāng)于是數(shù)據(jù)的加工廠,基于同步過來的數(shù)據(jù)源進(jìn)行加工,形成高可用的數(shù)據(jù)模型。開發(fā)套件比較大,可以獨(dú)立成單獨(dú)的產(chǎn)品模塊。
同時,可以將模型建設(shè)規(guī)范融入到任務(wù)開發(fā)的校驗(yàn)流程中。多些事前校驗(yàn),而不是僅僅依靠事后治理。例如提供dataphin之類的流程化建?;驍?shù)據(jù)加工工具
3. 數(shù)據(jù)資產(chǎn)化管理
資產(chǎn)化管理:數(shù)據(jù)工廠加工好的數(shù)據(jù),還需要進(jìn)行分門別類的規(guī)整,貼上各種規(guī)格標(biāo)簽,才能給到下游消費(fèi)者使用。資產(chǎn)化管理主要通過數(shù)據(jù)地圖進(jìn)行數(shù)據(jù)表查詢檢索,元數(shù)據(jù)信息維護(hù)查詢,為使用者提供方便的數(shù)據(jù)指引能力。
數(shù)據(jù)血緣:是貫通數(shù)據(jù)從入湖到業(yè)務(wù)終端全流程的數(shù)據(jù)鏈路關(guān)系,一是可以方便排查數(shù)據(jù)生產(chǎn)過程的來龍去脈,為翻代碼查邏輯提供指引。此外,基于血緣可以做到數(shù)據(jù)異常時的下游通知,以及下游應(yīng)用無人使用時,數(shù)據(jù)一鍵治理,存儲計算資源釋放。
數(shù)據(jù)質(zhì)量監(jiān)控:針對任務(wù)執(zhí)行的結(jié)果準(zhǔn)確性進(jìn)行監(jiān)控,提前發(fā)現(xiàn)因?yàn)樵炊藬?shù)據(jù)庫變更、開發(fā)Bug等問題引發(fā)的數(shù)據(jù)不準(zhǔn)等問題。
數(shù)據(jù)治理:從任務(wù)資源消耗、時間消耗、業(yè)務(wù)使用(冷熱數(shù)據(jù))、開發(fā)規(guī)范、模型覆蓋度復(fù)用度等不同維度建立資產(chǎn)健康度評估指標(biāo)體系,以及數(shù)據(jù)治理工作臺,每天上班就可以知道有哪些坑要填,提前把自己埋了。
4. 數(shù)據(jù)價值輸出
搞大數(shù)據(jù)最終是為了數(shù)據(jù)能夠產(chǎn)生價值,一是基于數(shù)據(jù)的決策,二是數(shù)據(jù)驅(qū)動的產(chǎn)品智能化、運(yùn)營精細(xì)化。
SQL即席查詢是基于數(shù)據(jù)模型的SQL取數(shù),自助分析則是通過傻瓜式拖拽方式服務(wù)于無SQL能力的業(yè)務(wù)人員。在這個環(huán)節(jié)和資產(chǎn)關(guān)系密切的就是指標(biāo)管理、標(biāo)簽資產(chǎn)管理,通過數(shù)據(jù)API方式,最終將數(shù)據(jù)輸出給到前端的可視化分析產(chǎn)品或者產(chǎn)品、運(yùn)營主流程的接入應(yīng)用。
5. 數(shù)據(jù)安全管理
數(shù)據(jù)庫、數(shù)據(jù)表、指標(biāo)及標(biāo)簽的元數(shù)據(jù)可以公開查閱,但真正要取數(shù)使用,必須先獲取對應(yīng)的授權(quán),因此需要提供一鍵權(quán)限申請、審批消息通知、授權(quán)后應(yīng)用自動賦權(quán)等全流程的自動化產(chǎn)品設(shè)計。
三、總結(jié)
數(shù)據(jù)資產(chǎn)是大數(shù)據(jù)的根基,前期業(yè)務(wù)發(fā)展追求短平快,留下的資產(chǎn)不規(guī)范不健全的坑未來還是要逐一去填平。數(shù)字化轉(zhuǎn)型首先要解決的也是數(shù)據(jù)匯聚和數(shù)據(jù)資產(chǎn)等問題。
數(shù)據(jù)資產(chǎn)模塊相關(guān)的產(chǎn)品經(jīng)理,不僅要具備良好的產(chǎn)品通用能力,同時需要對大數(shù)據(jù)生態(tài)、數(shù)據(jù)流轉(zhuǎn)流程、數(shù)倉建設(shè)等理論有良好的認(rèn)知,這樣做起產(chǎn)品才能更加游刃有余。但萬變不離其宗,數(shù)據(jù)的采存管用流程涉及的數(shù)據(jù)產(chǎn)品模塊,各家公司也都大同小異。
#專欄作家#
數(shù)據(jù)干飯人,微信號公眾號:數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準(zhǔn)營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
數(shù)據(jù)開發(fā)人員的用戶畫像生動,??