線下業務數據體系搭建(二)——逾期資產處置系統數據底層邏輯設計
編輯導語:本文就線下業務數據體系的搭建進行講解。以自己公司上線系統后出現的問題為例,從四個方面進行講解,解決了系統數據構建問題。推薦想要搭建線下業務數據體系的用戶閱讀。
最近開始上線系統,公司目前又沒有數據產品經理參與系統設計,勉勉強強上線了系統,但是在系統上線之前經歷的打斷數據清洗遷移系統的過程,是想記錄下來分享給大家的。
整個產品項目提出大概是去年年末今年年出,確定初版原型圖設計大概是6月份,需求調整、開發、測試、灰度,到現在才開始進行實際業務測試,期間經歷了很多困難,實際在業務的生產中,我們在7-8月份實現了整個部門業務處置能力的飛躍,整體的業務模式也發生了比較大的變化,這導致實際開發進度遠落后于業務的進步。
一、業務邏輯
在很長一段時間內,我們一直依靠數倉建立的一張極高自由度的表結構下操作,大量的數據由實際前端業務員匯總,導入數倉留存,這樣的操作就導致了,在實際業務邏輯中,有大量存在強邏輯相關性的字段,并沒有按實際的固定的邏輯進行留存,像類似有一部分用戶/訂單委派給了渠道進行訴訟處置,但渠道回傳的案件進度數據中,只給定了訴訟結案時間,卻沒有立案時間。
但由于這張極高自由度的表格,會讓這樣不合業務邏輯的數據被留存下來,如果渠道在中途不再合作,立案時間這個字段可能就徹底丟失,在系統數據中轉化為錯誤值,在業務中的有效數據因為工作流程上的不規范成為了無效數據,這是得不償失的。
所以,在實際設計線下業務數據體系的時候的時候,第一個需要考慮的就是業務上的邏輯,簡單以訴訟為例。
這是一套簡單的訴訟流程,實際在作業中,我們需要明確,有哪些事件的發生是帶有強關聯性的,這在一定程度上能幫助我們對數據是否合理,是否真實進行校驗,同樣能對合作的三方機構、渠道的作業能力、作業方式有一定的了解。
在上述流程中,如果同時出現二審受理時間和駁回訴訟申請的反饋,可以說明在某一程度上數據是有問題的,同樣的,有二審審理開始時間卻沒有一審結束時間同樣是數據有可能產生問題的點。
按業務邏輯校驗數據,除了能在流程數據校對中發現一定問題之外,還能通過這部分流程數據獲取渠道不愿意同步的情況,盡量減少信息不對等的問題,減少我方損失,例如渠道在遞交材料這個環節沒有同法院溝通順暢,就要求我方提供大批量同類型案件處置,卻最終反饋撤訴的情況下,很有可能在最初渠道反饋的他們可合作的法院便是不接受這類案件,且無法處置的,這時候說明在前端商務溝通層面上,渠道反饋的作業信息是有誤區的,這種誤區會容易耗費大量的人力物力。
所以,數據在之前先做好穩定收集校驗的工作,是能夠穩定判斷渠道的實際作業情況的。
當然,我們實際業務中碰上的問題便是沒有先進行業務邏輯校準,便補充了看似準確的業務數據,這部分不符合業務邏輯規范的數據在系統強關聯的操作步驟中無法正常體現,甚至導致歷史數據遷移的時候報錯,無法導入,這時候就需要數據組校準邏輯之后對核準判斷并清0從業務數據體系建立的邏輯層面上關注,就需要一開始從部門業務起始到最末端的數據回流收集,需要根據實際業務建立一套完整規范的數據收集體系,規定在某個時間節點獲取某些指標數據,這樣也利于從一開始摸清實際業務中會出現的問題類型,以渠道準入為例:
有大量商務人員在前期渠道準入的獲取的渠道信息是沒有實際同步實際運營人員的,在渠道準入之后有大量的實際對接工作在就會落在后端運營人員這,同樣的,渠道方也會更換實際的運營溝通人員,大量的前期對接工作在運營人員未知的時候業務就流轉到了下一個節點,如果對各個部分人員權限管理的再嚴格一點,很可能出現運營人員連實際的合作協議簽署都還沒確定的情況下就被業務推動著不停往前走,不停溝通合作嘗試。
最后發現渠道甚至合作協議的簽署,合作模式都不是很清晰,這種情況在這種0-1的創業公司、創業部門非常常見,實際業務需求推動過于緊張,但實際業務邏輯、運營邏輯的搭建被遠遠落在后面。
二、數據自由度
數據自由度在實際業務場景下應當被定義為實際數據操作人員的數據規范化操作,就以簡單的數據清洗補充為例,在線下的業務流程中,會有大量的數據以表格的形式在線下本地存儲,需要把這部分數據以規范化的邏輯、格式上傳至系統留存,才能匯總所有人的數據記錄,在數據沒統一上線系統之前,甚至“需求表-排期表-跟進表”三個不同功能作用的工作表的數據、文本都可能產生差距,就比方說需求表內法院信息補充為“廈門市集美區法院”,在實際排期表、跟進表中存儲的法院信息為“福建省廈門市集美區人民法院”,這部分信息在系統的留存可能只能以一個標準字段的形式存儲,用于代表用戶的所生成的用戶ID假設包含英文的大小寫,同樣要規范以統一的大寫/小寫的形式作為留存
舉個例子,碰上底層如果對大小寫敏感的JAVA、C++等語言撰寫,同一個用戶如果存儲方式是“A”和“a”是完全不一致的,在甚至身份證號中的“X”和“x”都會被識別為兩個用戶,這樣的數據不規范會在很大程度上影響數據的清潔程度,進而影響業務數據分析等方面;
一方面來說,數據自由在某種程度上確實很爽,可以以任何形式(CODE碼,文字、數據等)留存關鍵數據,在業務流轉過程中會很快樂,工作很迅速,如果這部分數據只是做無檢驗留存,在數據上傳的時候甚至不會做任何校驗,這樣的數據在實際導入系統,做分析使用的時候都會產生比較大的問題。
在所有的線下業務中都可能會發生類似的情況,對數據自由度進行一定規范話,需要對所有要留存的數據設計留存格式、留存方式,在數據庫中的更新模式(只允許新增數據/只允許覆蓋數據),在規范化的操作下,才能保證部門內每個人的每一項線下工作都能按一定的邏輯交付,不會存在數據工作存在斷檔,同事無法接手、合作的情況。
三、底層數據表邏輯設計
任何系統都需要在底層設計數據存儲的表格形式,而每張實際存儲的表都需要有主鍵作為唯一識別,根據不同維度的表格實現表于表之間的連接
我們以消費金融逾期資產處置為例,對于任何一種逾期資產處置的手段(電話催收、人民調解、法院調解、律所調解、訴訟等)來看,所有的處置手段的作用邏輯均在用戶上,而單個用戶下可能會存在多筆實際借款行為,單個用戶在借款額度未用盡的情況下,多次操作借款,這樣會在用戶的維度下生成多筆借款記錄,每一筆借款記錄在最細的維度上都是以借款訂單的賬單維度展現的,而訂單維度的借款行為構成了用戶維度的行為。
在逾期資產處置上,又是以多個用戶綁定的方式推送給渠道,渠道對不同的用戶下多筆借款行為實際跟進處置,所有的處置邏輯是一層一層掛鉤的,這種層層嵌套的數據結構,需要在實際操作的業務流程中,根據不同的業務流程中的主要展示表,去做表之間的不同關聯形式,以下是各個維度的底層表可能會涉及的字段:
可以看到,每個維度所要收集、展示的字段很多時間不太能在統一的數據底層數據庫中獲取,且各個維度的數據之間是以主鍵的方式去層層遞進的,賬單—訂單—用戶—批次,依據主鍵進行關聯,這樣的關聯模式能較好的完成各個表結構之間的搭建,讓同一個維度的字段僅保留在同個維度的表中,這種模式的拆分也能讓數據之間打破數據孤島,實現關聯。
這種表之間的邏輯關聯設計,讓實際業務系統中可以實現多模式的臨時表,數據僅在被需要的事件節點被提出計算,在無需留存的事件節點會被剔除,這樣的臨時表搭建方式會減少系統實際占用的服務器性能,在快速響應方面也能支持不同權限的個體同時進行線上操作。
業務數據底層的搭建,最好是根據實際業務的邏輯拆分不同的表結構,根據業務操作人員可能會涉及的顆粒度去展示不同的邏輯層級,最后搭建起實際業務數據體系。
四、系統業務邏輯搭建
在系統底層數據搭建好之后,需要設計上層的業務操作邏輯,所有的業務操作邏輯都需要提前設定好整個系統可能會涉及的權限分配,根據不同的業務權限進行拆分,舉個例子,仍是以上面四個表的維度進行拆分,在逾期資產的處置中,人民調解員可以根據自己被分配到的用戶進行操作,根據實際自己分配到的權限進行操作,通過權限對系統功能各個模塊進行拆分,能夠通過權限功能的拆分,實現多人同時操作,避免多人同時操作對系統查詢造成大量負擔,但這種根據業務拆分系統的權限,就需要實際業務流程、邏輯完善搭建之后才能完善,根據不同部門的業務模式才能正常操作,這就是因人而異了。
五、寫在最后
對于現階段很多線上業務而言,重要的是線上前端業務的發展,對后端的關注度其實都沒有那么高,以互聯網消費金融為例,在前端的用戶畫像、用戶行為分析,其實已經做到了比較優異的狀態,但后端逾期資產處置的方面,卻被極大的忽略了,大量的后端處置風控數據沒法按合適的邏輯回傳前端,在逾期資產處置方面,有一些資產在還未進入處置之前就已經被定義為“壞賬”、“不良資產”,甚至不被考慮回收,這部分資產都是直接被定義在“無法處置”,不被納入資產回收的考量范圍,在這種程度上實際如果把這部分“壞賬”跟進回收,是能夠成為公司賬面上的關鍵現金流的,這對消金公司有著非常大的意義。
此外,大量后端處置數據回傳,能夠幫助前端風控完善逾期用戶行為鏈路,確定各類型行為發生的觸發機制,這對本來就難以完全實現的快速風控有積極意義,也是希望大家能更關注各個行業后端的業務,完成整體業務邏輯閉環的搭建。
作者:Logan_RRRC,公眾號: Logan的運營學習日記
本文由 @Logan_RRRC 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于 CC0 協議
- 目前還沒評論,等你發揮!