三個常用統(tǒng)計(jì)模型的典型應(yīng)用場景
跟大家聊三個常用統(tǒng)計(jì)模型的應(yīng)用場景。哪三個模型呢?決策樹、K-means聚類、因子分析。
為啥是這三個模型呢?因?yàn)檫@三個模型分別代表了數(shù)據(jù)分析的三種思路:分類、聚類、降維。
為啥只說應(yīng)用場景?因?yàn)榫唧w模型有很多專業(yè)書籍講的更好,而且我個人認(rèn)為,模型是固定的,場景是多變的,知道什么時候該用什么模型,比會用這個模型更重要一些。
那么,接下來正文開始。
一、決策樹
定義:機(jī)器學(xué)習(xí)中,決策樹是一個預(yù)測模型;它代表的是對象屬性與對象值之間的一種映射關(guān)系。
個人認(rèn)為決策樹最出名的應(yīng)用應(yīng)該是這個:
你們頭腦里隱藏的任何念頭,
都躲不過魔帽的金睛火眼,
戴上它試一下吧,我會告訴你們,
你們應(yīng)該分到哪一所學(xué)院。
你也許屬于格蘭芬多,
那里有埋藏在心底的勇敢,
他們的膽識、氣魄和豪爽,
使格蘭芬多出類拔萃;
你也許屬于赫奇帕奇,
那里的人正直 忠誠,
赫奇帕奇的學(xué)子們堅(jiān)忍誠實(shí),
不畏懼艱辛的勞動;
如果你頭腦精明,
或許會進(jìn)智慧的老拉文克勞,
那些睿智博學(xué)的人,
總會在那里遇見他們的同道;
也許你會進(jìn)斯萊特林,
也許你在這里交上真誠的朋友,
但那些狡詐 陰險之輩卻會不惜一切手段,
去達(dá)到他們的目的。
分院帽應(yīng)用的是個非常典型的決策樹模型(什么鬼),在上文的《分院帽之歌(節(jié)選)》中,我標(biāo)粗的每個部分都可以認(rèn)為是一個特征,帽子往學(xué)生頭上一扣,讀取學(xué)生的顯著特征,然后分到某個類別里。所以你看,哈利波特一開始表現(xiàn)出來的特征都是格蘭芬多的特征,但他畢竟是個魂器,分院帽讀取數(shù)據(jù)時候發(fā)現(xiàn)這個人有兩類顯著特征,于是猶豫不決,最后還是波特自己提出了要求,這就證明應(yīng)用模型時的人工干預(yù)必不可少(大霧)。
言歸正傳,決策樹在實(shí)際工作中基本應(yīng)用于給人群分類,最好的應(yīng)用場景是要把人群分為互斥的兩類,并找到兩類人群的不同特征。當(dāng)然,分為多個互斥類別也OK。
一個非常典型的場景是流失模型,對電信業(yè)來說,通過用戶的行為來提前找到哪些人有流失風(fēng)險,并通過專門優(yōu)惠等手段挽留,是運(yùn)營中的重要部分。之前我在轉(zhuǎn)入互聯(lián)網(wǎng)行業(yè)時,第一選擇本來是游戲公司(可惜愿意收的給不起合理工資……),因此研究了一下游戲用戶流失模型的內(nèi)容,發(fā)現(xiàn)跟電信業(yè)有相通之處。舉個例子,對于某款端游,定義超過一周不登錄用戶為流失,那么做過的任務(wù)、拿到的裝備、打過的副本、充值金額等等,都可以作為預(yù)測用特征,比對流失與非流失用戶,找到兩者的區(qū)別,在關(guān)鍵流失節(jié)點(diǎn)上加一些運(yùn)營策略來減少流失。
二、K-means聚類
定義:k-means聚類的目的是:把n個點(diǎn)(可以是樣本的一次觀察或一個實(shí)例)劃分到k個聚類中,使得每個點(diǎn)都屬于離他最近的均值(此即聚類中心)對應(yīng)的聚類,以之作為聚類的標(biāo)準(zhǔn)。
K-means聚類的好處在于樣本量大的時候,可以快速分群,但需要在分群后注意每個群體的可解釋性。換句話說,給你一萬個人,分成四群,需要能夠解釋每一群人的突出特征,如果有兩群人的特征很相似,那就要重新分群了;或者有一群人的特征不明顯,那就要增加分群了。
聚類與分類不同,分類的目的是得到可復(fù)用的規(guī)則,使得訓(xùn)練集以外的個體可以直接分到已知的類別里;聚類屬于后驗(yàn)的研究,是對已有個體的辨別。當(dāng)然聚類可以在一定條件下轉(zhuǎn)化為分類,例如K-means里知道了每類的中心,那么新個體可以依據(jù)和每類中心的距離,來判斷所屬類別。但通常情況下,聚類方法本身仍是用于研究的次數(shù)更多。
K-means常用的場景是在不清楚用戶有幾類時,嘗試性的將用戶進(jìn)行分類,并根據(jù)每類用戶的不同特征,決定下步動作。一個典型的應(yīng)用場景是CRM管理中的數(shù)據(jù)庫營銷。舉例,對于一個超市/電商網(wǎng)站/綜合零售商,可以根據(jù)用戶的購買行為,將其分為“年輕白領(lǐng)”、“一家三口”、“家有一老”、”初得子女“等等類型,然后通過郵件、短信、推送通知等,向其發(fā)起不同的優(yōu)惠活動。
明尼蘇達(dá)州一家塔吉特門店被客戶投訴,一位中年男子指控塔吉特將嬰兒產(chǎn)品優(yōu)惠券寄給他的女兒——一個高中生。但沒多久他卻來電道歉,因?yàn)榕畠航?jīng)他逼問后坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數(shù)據(jù),然后通過相關(guān)關(guān)系分析得出事情的真實(shí)狀況。
這個案例也算是與”啤酒和尿布“知名度差不多的一個案例。在這個案例中,那個高中生少女明顯是被聚到了孕婦那一類,因?yàn)樗男袨槟J脚c孕婦是很相近的。
(決策樹也可以做這件事,但需要先定義出特征,因此在探索特征未知的領(lǐng)域時,聚類可能更好用一些)
順便說一句,我原先在國企的時候干的就是這個事,而且發(fā)送渠道是最土的那種……平信……術(shù)語叫數(shù)據(jù)庫商函……也叫直復(fù)營銷(不是直銷也不是傳銷?。?。誰對此有興趣可以看看我這個答案……利用什么可以讓產(chǎn)品在市場上公開透明?如何去做? – 陳丹奕的回答
三、因子分析
定義:因子分析是指研究從變量群中提取共性因子的統(tǒng)計(jì)技術(shù)。因子分析可在許多變量中找出隱藏的具有代表性的因子。將相同本質(zhì)的變量歸入一個因子,可減少變量的數(shù)目,還可檢驗(yàn)變量間關(guān)系的假設(shè)。
之前說到因子分析是降維的一種方式,而降維歸根結(jié)底就是一句話:變量太多的時候,需要將變量重構(gòu)成帶有更多信息的新變量,新變量與原始變量之間存在相關(guān)性,這樣才能在不損失太多原始信息的情況下減少變量數(shù)量。
因子分析的一個典型應(yīng)用場景是滿意度調(diào)查。通過市場調(diào)研方式獲取消費(fèi)者滿意度時,通常會有兩位數(shù)的問題來了解消費(fèi)者對哪些方面滿意,哪些方面不滿意,這個時候因子分析就很重要,可以將消費(fèi)者的問題歸結(jié)為相對較少的幾個大問題方向,同時也可以看出哪些問題更為重要,需要優(yōu)先解決。
那么,本篇文章到此結(jié)束,感謝大家的支持。
作者:陳丹奕
鏈接:https://zhuanlan.zhihu.com/p/20461694
本文由 @陳丹奕 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
我還以為是小喵寫的呢。