中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

沒有監(jiān)控的模型，就像沒有指南針的鐘表，失去了控制。我們如何通過數(shù)據(jù)的變化來判斷模型是否正常運行，以減少風險？作者結合自己的經歷，總結如何做好并用好風控模型監(jiān)控，希望對你有所幫助。

使用沒有監(jiān)控的模型，就像使用沒有指針的鐘表，它可能在工作，但你怎么知道呢？

模型監(jiān)控就是模型上線之后，根據(jù)數(shù)據(jù)的變化來判斷模型是否正常運行。

茲事體大。

一、為什么重要

“最近通過率下降了，怎么辦？”

“最近逾期率上升了，怎么辦？” 或者，“最近逾期率沒什么變化，真開心?！?/p>

當你不做監(jiān)控時，上面是你可能發(fā)出的提問。這些問題 low 不 low，你自己說。

報表體系的搭建對于任何一家金融機構都尤為重要，對于風控模型，上線部署后會因內外部各種因素引起模型分數(shù)偏移，甚至出現(xiàn)錯誤。

為了能在第一時間發(fā)現(xiàn)問題，我們需要對模型進行動態(tài)監(jiān)控。有一套相對完整的報表系統(tǒng)，能對模型的有效性、穩(wěn)定性做到及時的掌控，以確保模型如期運行。否則，應啟動迭代新的模型。

在這之后，你的問題會變成，

“最近有個渠道客群模型均分下降了十幾分，通過率低了很多，要不要下線這個渠道？”

“最近逾期率沒什么變化，但模型分 KS 下降了 5 個點了，是不是模型有問題了？”

你應該意識到，報表讓你提出了更針對性的問題，并指向你去解決問題。

二、如何做監(jiān)控

我們都知道風險表現(xiàn)是滯后的，用戶申請之后需要一個表現(xiàn)期你才能知道這個人是好的還是壞的。模型同學往往重點關注模型效果，需要先有 label，但在沒有 label 之前，肯定也不能放任不管。以需不需要 label 為界，我們可以把監(jiān)控分為前端監(jiān)控和后端監(jiān)控。

申請時我們能獲取得到的東西，可以用來做前端監(jiān)控，例如，申請量、通過率、客群分數(shù)分布等。如果我們更進一步，關注策略的穩(wěn)定性，拒絕流的監(jiān)控就很重要。除此之外，我們，還應該關注重要特征的監(jiān)控。

這一步，是為了在第一時間監(jiān)控到線上發(fā)生了什么，以及我們的客戶是什么人。申請量、通過率的穩(wěn)定，最讓人省心，出現(xiàn)較大波動，則應對其原因有基本的了解，是既定的渠道推廣，還是什么不知名的原因。通過率最為重要，如其發(fā)生非預期的變化，就要去看拒絕流的哪個環(huán)節(jié)出現(xiàn)問題，拒絕流是決策引擎中規(guī)則執(zhí)行的順序，例如，先過黑名單、再過強規(guī)則、再過模型，檢查這些比例是否穩(wěn)定合理。模型通過率的變化是客群分數(shù)分布變動導致的，又可以溯源至特征的分布。

而后端監(jiān)控主要是關注模型性能和資產表現(xiàn)，最直接對應的就是 KS 和壞賬率 PD。后端監(jiān)控中應該統(tǒng)計出每個分數(shù)段的人數(shù)和壞客戶比例，這才是和決策直接相關的東西。

資產質量永遠是最重要的，放出去的錢有多少能回來本質上都取決于資產的質量。后端監(jiān)控當然很有用，但別忽略了前端監(jiān)控，客群的均分、收入、征信表現(xiàn)等 x，或者 f(x)，都一定程度上體現(xiàn)了 y。

前后端，是更有效率和更準的問題。

模型和策略的共同點是都很關注人，異同點則是前者是模型視角，關注評分，后者是資產視角，關注錢。

三、如何讀監(jiān)控

數(shù)據(jù)分析的三板斧，看趨勢、看對比、看細分。解讀監(jiān)控報表亦如此。光有一個數(shù)據(jù)是無意義的，比較才能使其有洞見，怎么比？和過去比，和其他的比，分開了自己比。

趨勢分析：關注業(yè)務量、通過率、逾期率、KS 等指標逐月甚至是逐日的變化趨勢。申請量增長顯著的話，還得保證資金儲備充足。每個關鍵指標趨勢變化的拐點都值得注意，不一定存在問題，但至少應予以思考。

對比分析：分為縱向比較和橫向比較，前者是自己和自己比，后者是自己和別人比?？v向對比還包括環(huán)比和同比，環(huán)比就是本期和上期比，例如這個月和上個月比，同比是本期和上一周期的同期比，例如今年 618 和去年 618 比。很多數(shù)據(jù)指標是有周期性的。橫向比較就是跟行業(yè)其他平臺比一比，這個很有用，出問題了是行業(yè)問題還是你自己的問題，大面上有這個橫向比較就差不多知道了。

細分分析：選取一些關鍵維度，如渠道、年齡、地域、收入等，去關注這些維度不同客群各指標的差異。貸前最主要的一個維度就是獲客渠道，要密切關注各渠道的轉化和風險。好渠道是用來拓展業(yè)務的，壞渠道只會增加損失。數(shù)據(jù)分解，定義哪些是問題，哪些不是問題，或者說，哪些是機會，哪些不是。如果你的業(yè)務規(guī)模和業(yè)務模式總是一成不變的，也許不需要分解。然而，這種情況是極少的。歸因分析的基礎就是細分。

因為你要這樣讀監(jiān)控，你就自然知道如何做監(jiān)控。有效的解讀監(jiān)控，讓你關注到真正的問題點，而后才能解決問題。

四、采取行動

如果模型和策略同學不按時審閱監(jiān)控結果，那工作也是很難開展的。如果審閱監(jiān)控結果后，不采取行動，那工作是無意義的。

最終的行動就只有兩個，一是調整策略，一是迭代模型。

通過率下降、風險上升，是最惡劣的情況。策略調嚴是沒辦法的第一步，但這沒什么用，因為通過率已經很低了。大概率是模型失效了，也許是數(shù)據(jù)質量導致的，也許就是模型部署有問題，這肯定要迭代模型。

另外三種 case 呢，通過率上升、風險下降，皆大歡喜；通過率上升、風險上升，通過率下降、風險下降，就有點難了。三種行動，調整策略，迭代模型，什么都不做，選哪個？

我們都知道做產品增長呢有一個“北極星指標”，也叫“唯一關鍵指標”（OMTM，One metric that matters），就是產品現(xiàn)階段最關注的指標。信貸業(yè)務的北極星指標是什么呢，更常見的說法可能是在貸余額。招商銀行還曾經把 app 月活用戶數(shù)當北極星指標。那如果要給模型定一個 OMTM 呢？不管是在貸余額還是月活，我們都是要越多越好的，怎么多起來，就是要模型足夠好。模型足夠好，通過率才能足夠高，營銷才敢放開。那模型的 OMTM 最好的選擇就是 KS。

現(xiàn)在好辦了，關注這個 OMTM，不達標就行動。例如模型 KS 下降 10 個點，或者下降比例 30%，就考慮去迭代模型。

說的是考慮迭代模型，不是說必須。前面的分析應該讓你對下降原因有了一些了解，結合起來看。

明確核心指標有助于我們在復雜的大盤數(shù)據(jù)中找到重點，快速做出決策。特別是在同時訂閱多個指標時，有些指標正向，有些負向，就可以重點關注核心指標，舍棄不太重要的指標。采取行動會更迅速且更具共識。

五、不太合理的現(xiàn)象

模型同學往往過于關注效果監(jiān)控，而忽略流量情況。這個是視角問題，只看局部不好。即使不需要你去了解業(yè)務，你最起碼也得歸因吧。

因為你不用做決策，所以不去了解真正的問題，然后把真實的工作做成了 kaggle 比賽的樣子。非常需要引起大家的注意。

你會發(fā)現(xiàn)你天天在解決問題、解決問題，問題在于這都是別人告訴你的問題，你什么時候去發(fā)現(xiàn)問題呢？

很多模型同學都不管這些，待在所謂的算法工程師的 title 里面玩弄所謂的算法。假如你對結果負責，你就不會這樣了。

很多企業(yè)愿意毫不猶豫地增加千萬資金接入數(shù)據(jù)，而不愿意花費幾十萬來培訓員工提升綜合的風險管理能力。只能說，這就很神奇。

六、經驗分享

一般來說，在模型訓練好上線后，模型能力會不斷衰減，呈波動狀下行?？梢栽O定一個閾值，當模型的 AUC 或者 KS 低于這個閾值的時候，重新迭代模型。

如果模型沒有隨時間衰減，B 卡可能會這樣，迭代模型光靠更新樣本就意義不大，這時候應該做的是，深化信貸特征的挖掘。

如果模型效果衰減很厲害，實時模型要注意特征計算層有沒有出現(xiàn)問題，離線模型除特征跑批出現(xiàn)操作異常外，一般都是業(yè)務變化導致客群發(fā)生了變化。別老想著模型打分有問題。

線上如果出現(xiàn)問題，很難直接指向模型，因為復雜性其解釋權都在模型同學手上。策略同學不要聽他們的解釋。問題容易出在模型上面，但不是說“鍋”都是模型同學的。

如果模型和策略是分開的，還是配置個模型驗證團隊吧。

貸前因為要及時了解流量變化，可以用較短的表現(xiàn)期。

最好的監(jiān)控工具是 Excel，最強大的數(shù)據(jù)分析功能是透視表。

模型監(jiān)控，真的是一個蠻茲事體大的事情。設想我是出錢的老板，我更相信被監(jiān)控穩(wěn)定運行的普通模型，而不是“裸奔”的大數(shù)據(jù)模型。

最后強調下，報表不是越多越好的，重要的是有價值。好的報表是解決你的問題，而不是增加你的問題。

總而言之，監(jiān)控那些應當被監(jiān)控的事情，并在發(fā)現(xiàn)問題時采取恰當?shù)拇胧?/p>

為我投票

我在參加人人都是產品經理2022年度作者評選，希望喜歡我的文章的朋友都能來支持我一下~

點擊下方鏈接進入我的個人參選頁面，點擊紅心即可為我投票。

每人每天最多可投35票，投票即可獲得抽獎機會，抽取書籍、人人都是產品經理紀念周邊和起點課堂會員等好禮哦！

投票傳送門：https://996.pm/7mXqv