數(shù)據(jù)中臺(tái)最后一公里:數(shù)據(jù)服務(wù)管理產(chǎn)品設(shè)計(jì)思路
編輯導(dǎo)語(yǔ):做好數(shù)據(jù)服務(wù)管理,有助于數(shù)據(jù)價(jià)值的有效輸出,提升業(yè)務(wù)效率,并助推決策的產(chǎn)生。這就要求數(shù)據(jù)產(chǎn)品經(jīng)理想辦法解決數(shù)據(jù)服務(wù)管理平臺(tái)當(dāng)下存在的一些問題,比如管理困難、權(quán)責(zé)不明等。本篇文章里,作者就數(shù)據(jù)服務(wù)的痛點(diǎn)、如何搭建好數(shù)據(jù)服務(wù)管理平臺(tái)等方面做了總結(jié),不妨來看一下。
數(shù)據(jù)的價(jià)值一個(gè)是數(shù)據(jù)驅(qū)動(dòng)決策,主要通過數(shù)據(jù)可視化平臺(tái)、自助BI分析工具提升決策分析效率。另一個(gè)是數(shù)據(jù)在業(yè)務(wù)端的創(chuàng)新應(yīng)用,主要是API接口服務(wù)的方式,即DAAS(dataAPI as aservice)。
數(shù)據(jù)化運(yùn)營(yíng)時(shí)代,對(duì)API接口的需求與日俱增。例如APP首頁(yè)的千人千面的個(gè)性化推薦接口,根據(jù)用戶歷史消費(fèi)訂單數(shù)實(shí)時(shí)彈屏新客大禮包,根據(jù)訪問用戶所處的生命周期,制定差異化的用戶激勵(lì)運(yùn)營(yíng)策略等。
你們公司,目前是如何構(gòu)建和管理數(shù)據(jù)API服務(wù)的呢?
一、數(shù)據(jù)服務(wù)的痛點(diǎn)
1. 接口開發(fā)流程長(zhǎng)
通常一個(gè)普通API接口的開發(fā),需要數(shù)據(jù)開發(fā)工程師將數(shù)據(jù)按照業(yè)務(wù)邏輯進(jìn)行清洗加工,再由Java開發(fā)人員進(jìn)行接口變現(xiàn),即可以讓業(yè)務(wù)端通過接口調(diào)用數(shù)據(jù),例如實(shí)時(shí)查詢當(dāng)前訪問用戶的歷史累計(jì)訂單數(shù),以判斷用戶是新客,進(jìn)而派發(fā)新客大禮包。
對(duì)于個(gè)性化推薦接口,算法人員基于數(shù)倉(cāng)模型進(jìn)行特征數(shù)據(jù)分析處理,模型開發(fā)、訓(xùn)練調(diào)優(yōu),然后將模型提供給接口開發(fā)人員進(jìn)行實(shí)時(shí)的推理服務(wù)。
不管是哪種形式的接口,都會(huì)涉及多個(gè)工種,經(jīng)過N個(gè)環(huán)節(jié),一個(gè)接口的上線周期至少以周為單位,這個(gè)時(shí)效對(duì)于業(yè)務(wù)端創(chuàng)新應(yīng)用的支撐是遠(yuǎn)遠(yuǎn)不夠的。
2. 開發(fā)人員穩(wěn)定性差
對(duì)于普通的API接口,Java開發(fā)可能只需要按照接口文檔約定的出入?yún)⒏袷竭M(jìn)行SQL查詢語(yǔ)句的封裝再做一些性能調(diào)優(yōu)就可以了,考慮接口性能問題多數(shù)邏輯都會(huì)在數(shù)據(jù)模型層處理好。
這種需求對(duì)于開發(fā)人員來說個(gè)人成就感是比較低的,看似每天都在忙,忙碌但缺少成功的輸出。有更追求的開發(fā)不會(huì)愿意長(zhǎng)期做接口變現(xiàn),接口開發(fā)團(tuán)隊(duì)的人員穩(wěn)定性是個(gè)問題。
3. 數(shù)據(jù)服務(wù)管理困難
對(duì)外輸出的API接口太多,隨著人員的離職更替,歷史接口的邏輯、業(yè)務(wù)端的應(yīng)用情況管理成了老大難的問題,因?yàn)檎也坏浇涌谡{(diào)用方,難以判斷接口的應(yīng)用場(chǎng)景,接口數(shù)量只增不減。
長(zhǎng)期以來,需要維護(hù)的接口數(shù)量越來越多,服務(wù)器成本、運(yùn)維成本都居高不下。
4. 接口問題權(quán)責(zé)不明
“不知道接口有誰(shuí)在用”,這是經(jīng)常聽到接口開發(fā)講的一句話,他們也很委屈,因?yàn)榻涌谑撬奈迥昵伴_發(fā)的,前任并沒有交接的那么詳細(xì)。
即使通過接口可用性監(jiān)控發(fā)現(xiàn)了服務(wù)異常,也沒辦法逐一地找到并通知應(yīng)用方。只能被動(dòng)地等著業(yè)務(wù)來反饋。甚至連監(jiān)控都沒有,時(shí)不時(shí)收到業(yè)務(wù)反饋說,這個(gè)接口是不是你們負(fù)責(zé)的,出了XX問題,你們排查一下。
因?yàn)榉?wù)以接口輸出,接口出問題一般會(huì)直接找接口開發(fā),接口開發(fā)通過翻代碼發(fā)現(xiàn)是數(shù)據(jù)問題,又找到數(shù)據(jù)開發(fā)進(jìn)行邏輯確認(rèn),“數(shù)據(jù)問題,我沒法排查”,會(huì)出現(xiàn)相互推諉的情況。
二、數(shù)據(jù)服務(wù)管理平臺(tái)的解決思路
數(shù)據(jù)中臺(tái)的核心思想是能力復(fù)用和數(shù)據(jù)應(yīng)用效率的提升,資產(chǎn)是數(shù)據(jù)中臺(tái)的核心,沒有資產(chǎn)的數(shù)據(jù)中臺(tái)只能叫數(shù)據(jù)平臺(tái)或工具。
因此,數(shù)據(jù)服務(wù)管理必須建立在數(shù)據(jù)資產(chǎn)層之上。數(shù)據(jù)資產(chǎn)層以O(shè)neData為方法論基礎(chǔ)進(jìn)行模型、指標(biāo)的建設(shè),構(gòu)建分級(jí)分類清晰的數(shù)據(jù)資產(chǎn)管理與治理體系。
數(shù)據(jù)服務(wù)層作為數(shù)據(jù)中臺(tái)價(jià)值輸出的最后一公里,數(shù)據(jù)服務(wù)管理效率的高低,直接影響數(shù)據(jù)中臺(tái)價(jià)值的體現(xiàn),它提供的核心解決思路是復(fù)用資產(chǎn)層的數(shù)據(jù)能力,通過平臺(tái)化、配置化的方式,快速生成API服務(wù),減少定制化開發(fā)對(duì)不同工種的依賴。數(shù)據(jù)服務(wù)管理平臺(tái)需要具備以下核心的能力:
1. 接口服務(wù)配置化
1)指標(biāo)類接口
一般輸出給定制化開發(fā)的可視化報(bào)表平臺(tái)或業(yè)務(wù)端后臺(tái)進(jìn)行數(shù)據(jù)效果分析,指標(biāo)類基本都可以抽象出來指標(biāo)+維度+限定條件的方式,即:指標(biāo)和數(shù)據(jù)模型綁定,從哪個(gè)表中取哪個(gè)字段,字段的聚合邏輯是什么,指標(biāo)支持的分析維度有哪些?
前端頁(yè)面調(diào)用時(shí),傳入指標(biāo)ID、限制條件參數(shù),即可返回?cái)?shù)值。指標(biāo)管理平臺(tái)處理管理統(tǒng)一指標(biāo)外,還需要支持指標(biāo)接口的服務(wù)化輸出,這樣針對(duì)定制化程度高、BI工具無法配置的可視化需求,如大屏可視化,只需要數(shù)據(jù)開發(fā)人員清洗好指標(biāo)數(shù)據(jù)后,進(jìn)行配置即可輸出,無需接口開發(fā)介入。
2)用戶或商品維度的接口
歸根到底也可以歸為指標(biāo)類接口,但是由于數(shù)據(jù)的維度聚焦于單個(gè)用戶或者商品,應(yīng)用場(chǎng)景主要是精細(xì)化運(yùn)營(yíng)或產(chǎn)品智能,因此在場(chǎng)景配置方面需要一定的差異化。
承接的載體主要是CDP(客戶數(shù)據(jù)平臺(tái))、畫像平臺(tái)等。在資產(chǎn)建設(shè)部分,講用戶畫像、商品畫像體系標(biāo)簽化,通過豐富的標(biāo)簽構(gòu)建用戶、商品的精細(xì)化分層能力。
例如北京環(huán)球度假區(qū)開業(yè)業(yè)務(wù)想借熱點(diǎn)拉新(首次消費(fèi)),于是通過用戶標(biāo)簽和商品資源標(biāo)簽,找到了需要找到近期有旅游計(jì)劃,目的是北京,曾經(jīng)購(gòu)買過迪士尼樂園等主題的景點(diǎn)的年輕用戶,當(dāng)符合條件的用戶進(jìn)入APP首頁(yè),進(jìn)行促銷紅包彈屏,刺激用戶下單。
這類需求以運(yùn)營(yíng)場(chǎng)景為載體,最終輸出的是用戶ID維度的接口服務(wù)或者批量數(shù)據(jù)輸出,接口結(jié)構(gòu)也非常容易標(biāo)準(zhǔn)化。
可以構(gòu)建的配置流程是:多標(biāo)簽條件篩選目標(biāo)人群或商品,構(gòu)建運(yùn)營(yíng)場(chǎng)景(get接口調(diào)用方式還是Post數(shù)據(jù)推送),生成輸出接口對(duì)接業(yè)務(wù)端觸達(dá)通道(站內(nèi)實(shí)時(shí)訪問時(shí)調(diào)用接口,或批量的短信推送服務(wù))。
3)模型輸出類接口
此類接口是最容易標(biāo)準(zhǔn)化的,就是直接將模型中的字段接口化輸出,比如模型是團(tuán)購(gòu)訂單明細(xì)寬表,業(yè)務(wù)端需要判斷用戶是否有待消費(fèi)的訂單,訂單的業(yè)務(wù)類別、下單時(shí)間、消費(fèi)時(shí)間等,以判斷用戶是否可以參與抽獎(jiǎng)活動(dòng)。只需要選擇輸入字段、輸出字段、狀態(tài)碼以及應(yīng)用信息即可。
這樣,數(shù)據(jù)開發(fā)既是數(shù)據(jù)邏輯加工者,也是接口配置者,對(duì)結(jié)果負(fù)責(zé),可以減少對(duì)Java人員的依賴,提升業(yè)務(wù)賦能效率。
圖片來源:阿里dataworks官網(wǎng)公開資料
4)個(gè)性化推薦類接口
大數(shù)據(jù)的出口是AI,數(shù)據(jù)賦能很大程度依賴AI賦能。產(chǎn)品千人千面?zhèn)€性化推薦、算法挖掘預(yù)測(cè)類用戶畫像標(biāo)簽,數(shù)據(jù)服務(wù)管理平臺(tái)把標(biāo)簽管理、機(jī)器學(xué)習(xí)平臺(tái)模型文件、在線推理接口服務(wù)整合起來,解決推薦接口caseby case開發(fā)效率低的問題。
圖片來源:騰訊DMP modellab功能
總體來說,接口服務(wù)配置化是數(shù)據(jù)服務(wù)管理平臺(tái)最最核心的能力,將接口生產(chǎn)流程產(chǎn)品化,數(shù)據(jù)開發(fā)、算法開發(fā)、甚至業(yè)務(wù)同學(xué)就可以自助完成接口配置上線,供應(yīng)用端使用。
此時(shí)就不需要接口類的數(shù)據(jù)產(chǎn)品經(jīng)理每天去和業(yè)務(wù)對(duì)需求,你的出參、入?yún)⑹鞘裁?,統(tǒng)計(jì)邏輯是個(gè)啥,再轉(zhuǎn)化成PRD文檔協(xié)調(diào)數(shù)據(jù)開發(fā)、接口開發(fā)排期了。
接口的響應(yīng)周期主要取決于數(shù)據(jù)資產(chǎn)建設(shè)完善度以及新增模型(標(biāo)簽)的開發(fā)周期。Java開發(fā)可以更聚焦于通用接口生產(chǎn)能力建設(shè)、接口性能調(diào)優(yōu)工作,更具挑戰(zhàn)性也更有成就感。
2. 數(shù)據(jù)血緣可視化
API接口平臺(tái)化配置后,平臺(tái)內(nèi)接口與模型、字段的血緣關(guān)系以及接口與下游應(yīng)用的關(guān)系數(shù)據(jù)可以很容易獲取到。將這部分?jǐn)?shù)據(jù)與模型加工產(chǎn)品的血緣鏈路進(jìn)行關(guān)聯(lián)補(bǔ)充,就可以形成從源端數(shù)據(jù)到API以及下游產(chǎn)品應(yīng)用的全鏈路數(shù)據(jù)血緣,通過可視化展示方式,可以方便地知道接口生成鏈路。
上游數(shù)據(jù)異常時(shí),也很方便排查影響范圍,做好及時(shí)通知。
3. 性能監(jiān)控實(shí)時(shí)化
數(shù)據(jù)服務(wù)接口一般面向toC的產(chǎn)品應(yīng)用,接口穩(wěn)定性和性能需要做到實(shí)時(shí)監(jiān)控。
谷歌有一個(gè)著名的10X理論,即技術(shù)的相關(guān)指標(biāo)要至少保證10X于當(dāng)前業(yè)務(wù),例如正常情況下業(yè)務(wù)接口流量QPS為1000,那只要保證接口能夠抗住10000的流量,這樣才能更加穩(wěn)妥的應(yīng)對(duì)一些節(jié)假日高峰、爆款現(xiàn)象級(jí)產(chǎn)品或外部異常流量攻擊。
因此,數(shù)據(jù)服務(wù)管理平臺(tái)要具備接口實(shí)時(shí)流量、超時(shí)率、平均耗時(shí)、日均請(qǐng)求次數(shù)、錯(cuò)誤率等服務(wù)指標(biāo),并且做到異常報(bào)警通知,電話、短信、郵件多渠道,以出現(xiàn)問題時(shí)可以第一時(shí)間跟進(jìn)修復(fù)。
4. 接口管理線上化
過去接口管理方式是在線文檔,文檔傳閱靠口口相傳,嚴(yán)重影響接口的復(fù)用,且不同開發(fā)文檔標(biāo)準(zhǔn)不統(tǒng)一。
通過線上化的方式把所有接口當(dāng)做一種數(shù)據(jù)資產(chǎn)進(jìn)行管理,接口的需求元數(shù)據(jù)(需求工單)、技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)等信息完善,并且可以查看接口文檔、性能指標(biāo)、流量控制、一鍵上下線處理,可以更加方便地管理線上接口。
5. 需求申請(qǐng)工單化
有了平臺(tái)化的工具,是不是人人都可以直接配置接口使用數(shù)據(jù)了呢?
出于數(shù)據(jù)安全以及業(yè)務(wù)對(duì)數(shù)據(jù)的理解程度等方面,接口的配置權(quán)限還是要管控在數(shù)據(jù)開發(fā)、數(shù)據(jù)產(chǎn)品或者具備開發(fā)能力的業(yè)務(wù)開發(fā)角色中,相應(yīng)的,就需要有配套的接口需求申請(qǐng)流程、已有接口申請(qǐng)token復(fù)用流程,并且和內(nèi)部IM結(jié)合,形成需求提交、工單流轉(zhuǎn)、處理反饋的數(shù)據(jù)服務(wù)需求流程閉環(huán)。
三、總結(jié)
數(shù)據(jù)服務(wù)(API)是數(shù)據(jù)中臺(tái)的最后一公里,是數(shù)據(jù)價(jià)值輸出的重要形式之一,API生產(chǎn)效率的高低直接影響了數(shù)據(jù)對(duì)業(yè)務(wù)賦能的效率。
因此,作為數(shù)據(jù)產(chǎn)品經(jīng)理,要多調(diào)研多分析服務(wù)流程現(xiàn)狀、耗時(shí)最長(zhǎng)的步驟或環(huán)節(jié),尋求產(chǎn)品化的解決方案并不斷優(yōu)化,提升API服務(wù)與管理效率。
#專欄作家#
數(shù)據(jù)干飯人,微信號(hào)公眾號(hào):數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺(tái)產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準(zhǔn)營(yíng)銷平臺(tái)等數(shù)據(jù)產(chǎn)品。擅長(zhǎng)大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計(jì)。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
精準(zhǔn),簡(jiǎn)潔
辛苦了,公眾號(hào)文章都看了