為什么模型快速迭代不一定有效
在快速變化的金融科技領域,風控模型的迭代似乎成了一種常態。然而,這篇文章提出了一個顛覆性的觀點:模型快速迭代可能并不像我們想象的那么有效。
嚴格一點,我想說的是,模型快速迭代基本是無效的。
適用場景是風控模型,什么是快速我不能給你明確定義,但是按周按月一定在里頭。??????????
我來論證下這個觀點,目的呢,一個是讓你別去瞎搞,另一個是讓你別去信別人的瞎搞。
我對風控的寫作一直是哲學藝術層面的,技術層面的我不能寫,也不想寫。你不用太相信數據,因為數據有適用性,不一定是定論,但你可以相信我。
那就先來哲學層面的吧。??
論據一:信用是穩定的,那么信用模型也應該是穩定的。????
信用是穩定的,這句話是可以直接在前面用 ∵ 這個數學符號的,∴ 才有所謂的無信不立,那信用模型應該是很穩定的。但是風險模型卻要頻繁迭代,那只有一個解釋,那就是風險模型的建模目標不等同于信用,而是信用的一個表示,它具備一定的不穩定性。
但總歸這個事情是比較穩定的,所以風控模型沒必要過于頻繁迭代,像搜廣推那樣。
你得有個度。至于這個度具體是什么,當然也沒有定論。我只能說,當你感到不對勁的時候,很可能就真的沒有用,如果你對自己的能力有信心的話。??????????????????
其實上面有幾個字很重要:建模目標不等同于信用,而是信用的一個表示。它解釋了風險表現的不確定性,因為當A是B的一種表示時,就意味著A是實例而不是B本身,還可以有別的表示。風險呈現了什么樣的形態,由用戶、平臺、市場環境等多方面確定。???????????
論據二:動量策略不一定適用于信貸風控領域。???????
固定策略下,一萬個用戶通過了,用前八千樣本和后八千樣本建模有區別嗎?沒有區別,因為這里不受策略影響。
當然你硬要說的話,還有一個因素是時間。這個當然是可忽略不計的,行吧,我們也別忽略不計。
時間,可能會使得這兩者建模有差別,但卻不一定是哪個好哪個壞。用后八千樣本建模更好的可能性稍微大一點點,這是認為用最近的樣本建模用于未來的預測是更好的。這就是動量策略,其思想是趨勢總是傾向于繼續。神經網絡中的動量優化算法核心思想也是如此。????????????
如上圖,斜線和波動線,動量策略效果會差別很大。實際上,除非把波動線切分地足夠細,不然,它是不適用的。
信貸市場環境是斜線還是波動線呢???????
動量策略還存在一個更大的問題是,風險預測里有一個很長的表現期,例如mob6甚至mob12,也就是說你的樣本離現在已經隔了半年甚至一年了。因為這個gap的存在,動量還行不行實際上很不好說。gap一長也可能是周期你說對不對。
論據三:模型衰減是長期的,突變才是短期的,模型迭代解決的是衰減,不是突變。????????????????????????????
模型當然是會衰減的,但是衰減是一個長期的詞語,短期變化不是衰減而是突變。???????????????
長期變化的是,客群不斷在遷移,風險關系也在不斷變化,這是衰減。??????????
短期變化的是,模型上線后效果突然下降,這是因為模型被使用了,最低分段沒了,這是突變。?????
哪個是有效的?不用說了吧。
……
好了,該說說為什么大家會以為模型快速迭代有效了。??????
在大家的評估體系中,模型迭代是有用的,因為驗證集的ks一直有提升。但是這只是你的評估體系,在真實應用里,它有用嗎??
沒用。反著想一想吧,v2如果有用,那v3呢,v4呢,你會發現你什么也不用做,你一直在做優化,并且每次都提升很多,請問為什么業務沒有更好?
你說你是衰減,你快速迭代實現了前面那個衰減圖示的提升。??
一個月有什么衰減?如果有,那長期分期產品全是錯的。你說是也不是??????????????????????????????????????
模型迭代是不是真實有效,我之前寫過,寫得非常好,就是這篇《關于那個新老策略模型孰好孰劣的問題》。比較兩版模型效果,應該看的是通過率高的客群,是優質客群,而往往大家看的都是劣質客群,因為這些客群效果差,是痛點客群,而只有這些客群效果提升顯著。
朋友們,如果你什么都沒有做,快速迭代是沒有意義的。
那為什么很多團隊一直在做迭代呢?很簡單啊,這些人總歸要找點事做,要找點故事講。只是,一個系統,內部再怎么折騰,并不增加這個系統外的知識和價值。
《慶余年2》春闈時侯季常說他們來考院搬磚打工不僅是為了混口飯吃,更是為了露臉,結果郭尚書說所有來的人都不會被錄用,因為這些人投機取巧人品有問題。你看,有時候表現可能會起到相反的效果。
如果誰說他們團隊模型迭代特別多、特別快并引以為傲,你聽聽就得了,甚至你可以給對方打上一個不太靠譜的標簽。
那怎么樣讓它穩定一點呢?這樣就不用瞎折騰了。那當然是優質用戶經營,識別準風險,識別準需求,評估好收入,評估好負債,別亂來。
我怎么開始站在監管角度說話了。有點意思哈哈哈哈哈。
本文由人人都是產品經理作者【雷帥】,微信公眾號:【雷帥快與慢】,原創/授權 發布于人人都是產品經理,未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
- 目前還沒評論,等你發揮!