金融業(yè)如何進(jìn)行數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)?
本文是中原銀行大數(shù)據(jù)架構(gòu)師劉遠(yuǎn)東發(fā)表了題為《中原銀行數(shù)據(jù)分析建設(shè)實(shí)踐》的演講,內(nèi)容很有啟發(fā),特整理分享如下。
一、中原銀行大數(shù)據(jù)建設(shè)歷程
中原銀行這幾年在數(shù)據(jù)方面做過很多探索:
- 2016 年 12 月,中原銀行完成了大數(shù)據(jù)第一期項(xiàng)目上線;2017 年 5 月,完成了全行數(shù)據(jù)集市重構(gòu)與遷移;2017 年 7 月,上線了基于新的數(shù)據(jù)平臺(tái)的自助分析;2017 年 10 月,開始使用外部數(shù)據(jù)平臺(tái)和歷史數(shù)據(jù)平臺(tái);
- 2017 年 12 月,正式與神策數(shù)據(jù)合作接入實(shí)時(shí)行為分析平臺(tái);
- 2018 年 5 月,中原銀行完成了兩個(gè)新項(xiàng)目——數(shù)據(jù)挖掘分析和一站式數(shù)據(jù)訂閱平臺(tái)的上線;
- 2018 年 6 月,中原銀行上線了一批新的 T+0 數(shù)據(jù)集市。
個(gè)人認(rèn)為,銀行業(yè)經(jīng)過了做報(bào)表到 BI 的階段,下一個(gè)發(fā)展階段很可能是場(chǎng)景化,比如實(shí)時(shí)行為分析,T+0 的 OLAP 系統(tǒng),且 T+0 是個(gè)必然趨勢(shì),可能幾年后倉庫都會(huì)變成 T+0,很難再有人接受 T+1 的場(chǎng)景。
注: T+0 是一種證劵(或期貨)交易制度。凡在證劵(或期貨)成交當(dāng)天辦理好證劵(或期貨)和價(jià)款清算交割手續(xù)的交易制度,就稱為 T+0 交易。
T+1 是一種股票交易制度,即當(dāng)日買進(jìn)的股票,要到下一個(gè)交易日才能賣出。“T”指交易登記日,“T+1”指登記日的次日。
二、平臺(tái)建設(shè)目標(biāo)與思路
中原銀行已將大數(shù)據(jù)治理與應(yīng)用建設(shè)上升到全行戰(zhàn)略層面,并制定了以技術(shù)創(chuàng)新為導(dǎo)向,秉承自主可控、開放共享的理念,構(gòu)建統(tǒng)一完整、便捷高效、智能安全的大數(shù)據(jù)技術(shù)體系,提供全流程、一站式、智能化的數(shù)據(jù)服務(wù)的目標(biāo)。
值得強(qiáng)調(diào)的是:中原銀行一直以來的目標(biāo)不是做一個(gè)系統(tǒng),而是為了提供一種服務(wù)。比如:當(dāng)業(yè)務(wù)人員想知道流失了多少客戶,就目前來說,很難提供給他 BI ,即使提供了數(shù)據(jù),他也很難算出來,但通過場(chǎng)景化分析,制定出該場(chǎng)景下所需要的維度和指標(biāo),通過調(diào)取相關(guān)數(shù)據(jù),很容易進(jìn)行分析。因此,我們計(jì)劃把一個(gè)場(chǎng)景做成服務(wù),未來提供給業(yè)務(wù)團(tuán)隊(duì)使用。
三、數(shù)據(jù)平臺(tái)建設(shè)進(jìn)展與規(guī)劃
這是中原銀行大體的平臺(tái)建設(shè)進(jìn)展情況:
- 2016 年已完成基礎(chǔ)平臺(tái)搭建和數(shù)據(jù)架構(gòu)的設(shè)計(jì);
- 2017 年建立了一個(gè)數(shù)據(jù)整合平臺(tái),構(gòu)建了數(shù)據(jù)服務(wù)引擎、OLAP 自助分析引擎和挖掘分析平臺(tái)的基礎(chǔ)搭建;
- 2018 年計(jì)劃做數(shù)據(jù)治理、實(shí)時(shí)計(jì)算服務(wù)、圖計(jì)算服務(wù)、數(shù)據(jù)交換平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)等;
- 2019 年,我們可能會(huì)從技術(shù)角度出發(fā),做一些更加整合類的、更加完善類的、提升類的項(xiàng)目。
在很多情況下,雖然科技部門領(lǐng)頭建立了技術(shù)體系,但并沒有真正的業(yè)務(wù)落地,現(xiàn)在我們?cè)趪L試往實(shí)現(xiàn)業(yè)務(wù)跨越發(fā)展的方向轉(zhuǎn)移。
在 2018 年 6 月,中原銀行特別成立了一個(gè)一級(jí)部——數(shù)據(jù)銀行部,這是從信息技術(shù)部分離出來的一個(gè)部門。
以前我們更多地專注于技術(shù),但現(xiàn)在意識(shí)到用技術(shù)驅(qū)動(dòng)業(yè)務(wù),在營(yíng)銷和風(fēng)控方面的成本和難度都非常高,且技術(shù)并不一定能驅(qū)動(dòng)業(yè)務(wù)帶來收益,從這一點(diǎn)上,我們決定嘗試神策數(shù)據(jù)提供的這一套場(chǎng)景化的方法論和邏輯。
中原銀行在過去幾年做了一些技術(shù)驅(qū)動(dòng)的改進(jìn),比如:面向全行的集中交付能力優(yōu)化,包括固定報(bào)表和移動(dòng)報(bào)表,自助查詢模型等,特別是在過去幾年銀行業(yè)的自助查詢比較流行,沒有做的銀行未來也一定要做,這是一個(gè)必經(jīng)的階段。
四、數(shù)據(jù)分析需求理解:五種模式支持全行應(yīng)用
我認(rèn)為銀行業(yè)的數(shù)據(jù)分析需求可能有五種場(chǎng)景的數(shù)據(jù)交互模式(如上圖),中原銀行目前做了一個(gè)數(shù)據(jù)實(shí)驗(yàn)室,其實(shí)是一套數(shù)據(jù)湖的系統(tǒng),就是把以前的倉庫、集市這些平臺(tái)遷到了一個(gè)新的計(jì)算架構(gòu)上面。
它的主要作用是為了做數(shù)據(jù)建模和探索性的分析,該平臺(tái)完全獨(dú)立于原來的 P2P 平臺(tái),且不像以前那樣只做報(bào)表,也能做一些自助分析、數(shù)據(jù)建模,以便將來能支持更多建模師的使用。
我們希望這種項(xiàng)目出來成果之后,能做成不同類的業(yè)務(wù)場(chǎng)景應(yīng)用。不過,有些舊有模式,比如:即席查詢?cè)谥袊暯窍聲?huì)一直存在,因?yàn)楹茈y從別的應(yīng)用場(chǎng)景完全替代它。
五、數(shù)據(jù)分析平臺(tái)體系建設(shè)
中原銀行目前規(guī)劃了一套數(shù)據(jù)平臺(tái)體系,但目前這個(gè)體系還在演進(jìn)。
在過去幾年,中原銀行大概做了將近 1000 張報(bào)表、20 多個(gè)主題的自助分析以及數(shù)據(jù)實(shí)驗(yàn)室的平臺(tái)。
這些平臺(tái)面向的人員有所不同,報(bào)表主要面向數(shù)據(jù)使用人員。自助分析主要面向條線,比如:給領(lǐng)導(dǎo)編制報(bào)表和往下發(fā)布數(shù)據(jù)的人;數(shù)據(jù)實(shí)驗(yàn)室主要面向一些有科技背景的人員,比如:建模師。
除了上述三大平臺(tái),中原銀行還建立了一個(gè)社區(qū)平臺(tái),我們把這些統(tǒng)稱為一站式分析平臺(tái)。
數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新社區(qū)的建立是為了引領(lǐng)行業(yè)數(shù)據(jù)驅(qū)動(dòng)的發(fā)展,目前,科技部正在主導(dǎo)這個(gè)社區(qū)的建設(shè)。
我們會(huì)在該社區(qū)大量地發(fā)布一些數(shù)據(jù)驅(qū)動(dòng)的內(nèi)容,比如:數(shù)據(jù)分析報(bào)告、文章等。個(gè)人認(rèn)為,像數(shù)據(jù)驅(qū)動(dòng)這種工作的推動(dòng),將來一定是業(yè)務(wù)牽頭的,因?yàn)榧词辜夹g(shù)人員有思路也很難達(dá)到盈利,所以需要站到業(yè)務(wù)角度上去實(shí)踐。現(xiàn)在,我們會(huì)把自己的技術(shù)人派遣到業(yè)務(wù)部門,學(xué)習(xí)在業(yè)務(wù)場(chǎng)景下進(jìn)行分析。
前面提到的這幾種數(shù)據(jù)分析平臺(tái)還是比較偏技術(shù)方向,不過我始終認(rèn)為,未來一定是場(chǎng)景化的方向才有發(fā)展。因?yàn)閳?chǎng)景化的成本更低,比如:更低的使用成本,場(chǎng)景化讓業(yè)務(wù)人員使用更方便;更低的人才成本,場(chǎng)景化的應(yīng)用不需要招很多技術(shù)人員。
六、面向大數(shù)據(jù)的綜合分析平臺(tái)架構(gòu)
這是中原銀行目前面向大數(shù)據(jù)的綜合分析平臺(tái)架構(gòu),在這方面各行差異不大。
不過,中原銀行集市做的很薄,只有一個(gè)貼源的 ODS,以及 4-5 塊集市,比如:管會(huì)、內(nèi)部運(yùn)營(yíng)、營(yíng)銷等,與其他銀行相比,中原銀行是一個(gè)非常輕的架構(gòu),從貼源可以直接到集市,有的集市甚至沒有指標(biāo)加工,就直接整合明細(xì),再到自助分析、報(bào)表,有的也往實(shí)驗(yàn)室里面供。
個(gè)人認(rèn)為:像自助分析和場(chǎng)景化分析、數(shù)據(jù)湖這樣的思路早晚會(huì)替代我們之前做的大量報(bào)表,T+0 會(huì)替代 T+1,這只是時(shí)間問題。所以,我們整個(gè)架構(gòu)現(xiàn)在也在往這邊遷移。
七、分析平臺(tái)建設(shè)實(shí)踐—性能優(yōu)化
在前幾年中原銀行對(duì)分析平臺(tái)做了一些性能調(diào)優(yōu),一般剛開始從報(bào)表轉(zhuǎn)到 BI,肯定會(huì)面臨性能問題,因?yàn)?BI 本身是一種以空間換取靈活性的方式。
我們采用大數(shù)據(jù)技術(shù)支撐計(jì)算,用了 30 個(gè)物理計(jì)算節(jié)點(diǎn),大概有二三十個(gè)面向大數(shù)據(jù)反范式設(shè)計(jì)的主題模型,也就是寬表模型。因?yàn)閷挶砟P蜖奚撕芏嗫臻g的代價(jià),在這個(gè)大數(shù)據(jù)的平臺(tái)上一般會(huì)跑得比較順,冗余度高一點(diǎn),性能會(huì)提高。
不過,大數(shù)據(jù)平臺(tái)的一個(gè)主要特點(diǎn)是成本較低,擴(kuò)容方面也可以接受,所以我們現(xiàn)在更多選用這種方式。
八、分析平臺(tái)建設(shè)實(shí)踐—質(zhì)量提升
數(shù)據(jù)質(zhì)量提升,是中原銀行今年的重點(diǎn),我們準(zhǔn)備啟動(dòng)一個(gè)新的數(shù)據(jù)治理項(xiàng)目。
下面簡(jiǎn)單介紹下:
我們建設(shè)了一個(gè)在線口徑管理的渠道,舉個(gè)例子:現(xiàn)在業(yè)務(wù)在看報(bào)表發(fā)現(xiàn)數(shù)據(jù)問題的時(shí)候,會(huì)有一個(gè)線上的渠道直接在上面反饋問題,之后會(huì)有專門的技術(shù)人員跟進(jìn)。除此之外,我們還有一個(gè)類似知識(shí)庫的渠道,該渠道有利于口徑的沉淀。但是,對(duì)數(shù)據(jù)的治理,比如主數(shù)據(jù)、標(biāo)準(zhǔn)管理,我們還需要進(jìn)一步完善。
九、分析平臺(tái)建設(shè)實(shí)踐-靈活性提升
這個(gè)是中原銀行的 BI 平臺(tái),總體來說使用還不錯(cuò)。我認(rèn)為銀行到一個(gè)階段必須做 BI,如果沒有 BI 很難把數(shù)據(jù)驅(qū)動(dòng)的思路真正地讓業(yè)務(wù)落地,因?yàn)闃I(yè)務(wù)人員無法直接接觸數(shù)據(jù),很難了解數(shù)據(jù)在未來的作用。
只有他們把 BI 用熟了之后,你才能告訴他以后可以做場(chǎng)景化分析和預(yù)測(cè)類分析,現(xiàn)在中原銀行就是沿著這樣的軌跡發(fā)展。
十、分析平臺(tái)建設(shè)實(shí)踐—數(shù)據(jù)安全管控
金融業(yè)會(huì)涉及很多敏感數(shù)據(jù),特別要注意數(shù)據(jù)安全問題,為了保證數(shù)據(jù)安全,我們做了一些技術(shù)上的加工。
比如:
- 下載管理,我們建立了完善的數(shù)據(jù)使用審核流程和設(shè)定了數(shù)據(jù)最小訪問授權(quán),按需分配報(bào)表訪問權(quán)限;
- 實(shí)時(shí)脫敏,Smartbi?支持不同形式的數(shù)據(jù)脫敏展現(xiàn),可以實(shí)現(xiàn)前臺(tái)敏感信息的脫敏展示,對(duì)像身份證號(hào)這樣的敏感數(shù)據(jù)在實(shí)時(shí)展現(xiàn)時(shí)會(huì)隱去;
- 使用痕跡的管理,我們會(huì)統(tǒng)計(jì)發(fā)布報(bào)表訪問數(shù)據(jù),促進(jìn)報(bào)表使用過程中的自我監(jiān)督和相互監(jiān)督,便于及時(shí)發(fā)現(xiàn)因崗位調(diào)整,多余授權(quán)帶來的數(shù)據(jù)泄漏風(fēng)險(xiǎn);
- 行為監(jiān)控,我們利用大數(shù)據(jù)與機(jī)器學(xué)習(xí)技術(shù),建設(shè)數(shù)據(jù)安全智能分析預(yù)警平臺(tái),對(duì)數(shù)據(jù)操作行為進(jìn)行智能化監(jiān)控,防范內(nèi)部數(shù)據(jù)安全事件。
十一、未來建設(shè)規(guī)劃—數(shù)據(jù)深度探查服務(wù)體系
我們的未來建設(shè)規(guī)劃大體如上圖,目前來說,我們還處于數(shù)據(jù)探索和多維分析階段,在今年我們啟動(dòng)了幾個(gè)數(shù)據(jù)建模項(xiàng)目,下面列舉一二。
我們啟動(dòng)了一個(gè)叫做網(wǎng)點(diǎn)的現(xiàn)金流預(yù)測(cè)項(xiàng)目,要做到精準(zhǔn)預(yù)測(cè),需要考慮到很多維度,比如:網(wǎng)點(diǎn)的維度、人員的維度、客流的維度、天氣的維度。
因此,這個(gè)項(xiàng)目通過分析研究所有網(wǎng)點(diǎn)的歷史數(shù)據(jù)來預(yù)測(cè)各支行每天需要多少存款,這里的存款指的是現(xiàn)金。因?yàn)閷?duì)支行來說現(xiàn)金的存量是個(gè)非常大的成本,比如:運(yùn)輸成本,而且現(xiàn)金沉淀到支行沒有利息,相當(dāng)于現(xiàn)金放那兒了。
我們希望預(yù)測(cè)類的項(xiàng)目在明年會(huì)有一些階段性的成果出現(xiàn),也希望通過我們?cè)跀?shù)據(jù)驅(qū)動(dòng)變革創(chuàng)新方面的努力,能為推進(jìn)金融業(yè)數(shù)字化轉(zhuǎn)型建設(shè)發(fā)展進(jìn)一份力。
總結(jié)
金融業(yè)的競(jìng)爭(zhēng)已經(jīng)愈加激烈,不變則敗,盲目的變亦敗,唯有數(shù)據(jù)驅(qū)動(dòng)能指引方向。
希望本文對(duì)金融業(yè)的運(yùn)營(yíng)與產(chǎn)品有啟發(fā)!
最后,告訴大家一個(gè)好消息:
為了幫助在運(yùn)營(yíng)進(jìn)階路上,執(zhí)著前進(jìn)的伙伴們能夠更快速的提升,我們聯(lián)合了騰訊、百度等擁有10年以上經(jīng)驗(yàn)沉淀的實(shí)戰(zhàn)派導(dǎo)師,推出了【運(yùn)營(yíng)總監(jiān)修煉之道】,至今已幫助5000多名運(yùn)營(yíng)管理者和進(jìn)階者,掌握了更加系統(tǒng)全面的運(yùn)營(yíng)專業(yè)知識(shí)和管理思路,在處理類似運(yùn)營(yíng)戰(zhàn)略規(guī)劃、不同渠道運(yùn)營(yíng)策略和流量變現(xiàn)、品牌營(yíng)銷玩法、數(shù)據(jù)分析等實(shí)際問題時(shí)有更清晰的解決方向!
掃描二維碼添加小助手了解詳情,還可以回復(fù)“筆記”領(lǐng)取【運(yùn)營(yíng)總監(jiān)課程學(xué)習(xí)筆記】哦!
再猶豫,機(jī)會(huì)就沒啦~
本文由 @神策數(shù)據(jù) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Pixabay,基于 CC0 協(xié)議
想跟著BAT大咖老師學(xué)習(xí)更多進(jìn)階運(yùn)營(yíng)知識(shí)體系嗎?
在【運(yùn)營(yíng)總監(jiān)修煉之道】,四位來自騰訊、百度等擁有10年以上經(jīng)驗(yàn)沉淀的實(shí)戰(zhàn)派導(dǎo)師,將和你面對(duì)面分享高階運(yùn)營(yíng)的系統(tǒng)知識(shí),幫你掌握更加系統(tǒng)全面的運(yùn)營(yíng)專業(yè)體系和高效管理思路…….
想了解更多詳情?立即聯(lián)系Leo咨詢哦~微信/TEL:13028897966
PS:除了咨詢問題,還可以領(lǐng)取【運(yùn)營(yíng)總監(jiān)課程學(xué)習(xí)筆記】! ??