冠軍挑戰(zhàn)者?AB Test如何應(yīng)用于風(fēng)控場景?
編輯導(dǎo)語:AB Test是一個很好的導(dǎo)航系統(tǒng)和說理工具,策略分析師在各個場景使用這種分析方法,可以形成一個完整的閉環(huán);本文作者分享了關(guān)于AB Test如何應(yīng)用于風(fēng)控場景,我們一起來看一下。
下圖為策略分析師工作流程的自檢清單,相信很多人都看過了,本篇文章針對其中的AB test 環(huán)節(jié)詳細(xì)闡述。
一、A/B Test 概念
什么是AB Test?
1)我們先通過一張圖來了解系統(tǒng)的概念,做一做鋪墊:
如上圖,系統(tǒng),就是將多個輸入轉(zhuǎn)化成輸出的中間過程(圖中的輸入,也稱為變量)。ps:有數(shù)學(xué)背景的同學(xué),可以把系統(tǒng)理解成一個多元函數(shù)y=f(x1,x2,x3)。
2)然后基于系統(tǒng)圖導(dǎo)出控制變量法
如上圖所示,由于影響系統(tǒng)輸出的輸入變量有多個,如果我們需要考察其中某一個輸入變量(比如輸入1)對系統(tǒng)輸出的影響時;我們需要在保持輸入2和輸入3不變的前提下,改變輸入1,然后觀察輸出的變化,從而確定輸入1對輸出的影響;這就是控制變量法,核心是控制其他變量不變,排除其交叉影響,單獨觀察某一個變量對結(jié)果的影響。
3)再基于控制變量法引出對照組的概念
當(dāng)我們保持輸入2和輸入3不變,單獨改變輸入1時,我們需要在樣本中確定有多大比例的樣本(不)需要改變輸入1,由此按比例隨機抽樣、從而形成兩個相互對比的樣本(改變輸入1的一般稱為實驗組,不改變輸入1的稱為對照組)。
如果我們設(shè)定,對照組和實驗組各占50%,則形成如下的兩組樣本:
從上表的例子我們可以看到,變量1增長50%時,輸出變量增長60%,因為這是排除了變量2和變量3的影響之后的數(shù)據(jù),可以無可辯駁地說明變量1對輸出變量的影響(方向及強度)。
4)最后回到我們的核心概念A(yù)B Test
AB test就是通過隨機抽樣設(shè)置對照組和實驗組,A是對照組,B是實驗組,AB兩組占比由實際場景決定(任意一組的占比一般不能太低,要滿足統(tǒng)計學(xué)意義),加起來是100%。
由于是隨機抽樣,AB兩組一開始是完全相同的樣本;然后,改變一個變量,使得B相對A來說只有一個變量不同,從而可以將該變量單獨拎出來、觀察它對輸出結(jié)果的影響:
具體到業(yè)務(wù)場景中,A和B又分別指什么呢?舉個例子:
AB可以是不同的風(fēng)險策略(比如策略A是多頭>5,策略B是多頭>7),可以是不同的產(chǎn)品版本(如產(chǎn)品A需要輸入驗證碼,產(chǎn)品B不需要輸出驗證碼)……等等,一切你需要做對比、然后做出選擇的兩個方案。
PS:
- 對照組方法,是科學(xué)研究中用途極廣的方法,有著堅實的統(tǒng)計學(xué)理論支撐;
- 產(chǎn)品部門經(jīng)常用到對照組方法,產(chǎn)品部一般稱為AB Test,這種叫法比較通用,為方便交流,本文采用此種叫法;
- 風(fēng)控部門也經(jīng)常用到對照組方法,一般稱為“冠軍挑戰(zhàn)者”。
二、A/B Test 適用場景
以下我們針對常用的幾個場景,給出基于AB test的解決方案,給大家展示AB test在風(fēng)控中的典型應(yīng)用場景、應(yīng)用方式及其效果,希望大家能夠舉一反三,在自己的工作中能用上。
AB test方法應(yīng)用靈活、基于實際場景千變?nèi)f化,也有一些需要避免的問題,整個AB test機制包括需求分析、機制設(shè)計、數(shù)據(jù)分析、策略調(diào)整等,是一個完整的閉環(huán)。
場景一:無法確定策略調(diào)整的效果,找不到策略調(diào)整的方向
問題剖析:評估策略效果的指標(biāo)大家都很明確,而無法明確效果,究其原因,是因為影響風(fēng)控指標(biāo)的輸入變量有多個,包括客群質(zhì)量、時間、風(fēng)險策略等;而策略只是其中的一個變量,調(diào)整策略變量的同時,其他變量可能同時發(fā)生改變,因此無法確切評估策略的調(diào)整對風(fēng)控指標(biāo)的影響。
解決方案:假定我現(xiàn)在的策略是A,我想調(diào)整策略,沒有AB test可能直接改了,引入AB測試之后,我設(shè)定A組比例為70%,B組比例為30%,隨機70%的客戶走原來的A策略,隨機30%的客戶走新策略(假設(shè)叫B策略),測試周期為兩周(核心是要達(dá)到觀測樣本量):
Ps:測試完畢之后可以停止測試,全部客戶都切回A策略或切到下一個B策略(視情況而定)。
到表現(xiàn)期出來之后,經(jīng)過數(shù)據(jù)分析:
結(jié)果若如圖1,整體逾期率均呈上升趨勢,說明客群變差;但B策略在客群變差的環(huán)境下其同期逾期率增長低于A策略,說明B線策略較A策略好,調(diào)整有效,可以考慮將B策略轉(zhuǎn)正,作為新的冠軍策略;
結(jié)果若如圖2,整體逾期率均呈下降趨勢,說明客群變好;B策略在客群變好的環(huán)境下其同期逾期率下降低于A策略,說明B策略較A策略要差,調(diào)整失敗。
(以上兩個例子證明,要明確整體的變化方向,才能確定策略調(diào)整的效果。)
至于策略的調(diào)整方向,AB兩套策略的差異點你是完全知道的,這個差異是造成最終逾期率不同的唯一原因,找到其中大頭的差異點,就是本次調(diào)整的方向。
比如,假設(shè)在圖2的場景下,發(fā)現(xiàn)A策略是多頭>5拒絕,B策略是多頭>8拒絕,這是兩套策略的差異點,這個差異點造成了逾期率的不同,于是可以收緊B策略的多頭規(guī)則閾值。
場景二:已經(jīng)明確要調(diào)整的具體規(guī)則,目前有多個方案,無法確認(rèn)哪個方案最優(yōu)
問題剖析:已經(jīng)知道要收緊的具體的規(guī)則了,但是有多種收緊方案,在策略流程上,是前緊,還是前松后緊,著實讓人無法抉擇;因為在風(fēng)險策略人員的視野里,不僅僅只有通過率、逾期指標(biāo);還有征信成本、數(shù)據(jù)信息量等其它緯度的考量因素。
解決方案:直接對確定調(diào)整的規(guī)則進(jìn)行A/B Test 即可。
總結(jié)一下,策略的AB test機制,是一個很好的導(dǎo)航系統(tǒng)和說理工具,作為導(dǎo)航系統(tǒng),它讓策略人員在調(diào)整策略的時候,知道自己的方向,因此明明白白;作為說理工具,它讓策略人員在展示自身工作對全局影響的時候,聽眾心服口服。
本文由 @FAL金科應(yīng)用研院 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 unsplash,基于 CC0 協(xié)議
- 目前還沒評論,等你發(fā)揮!