辛普森悖論與“人生的三條路”

1 評(píng)論 8271 瀏覽 24 收藏 20 分鐘

關(guān)于這“短期容易、長(zhǎng)期較難的道路”,上帝是慈悲的,令這路可期盼;上帝是智慧的,讓這路不簡(jiǎn)單。

概 述

有新聞?wù)f美國(guó)iPhone用戶忠誠(chéng)度沒(méi)Android高,但該國(guó)iPhone的占有率卻是在上漲。

兩個(gè)數(shù)據(jù)都是“真實(shí)”,原因何在?

辛普森悖論揭示了數(shù)據(jù)會(huì)說(shuō)謊的秘密。

本文最后少不了來(lái)一碗實(shí)用主義的雞湯,扯了一下“懷才不遇”的統(tǒng)計(jì)學(xué)原理,和逆向運(yùn)用辛普森悖論的人生第三條路。

01

意外嗎?統(tǒng)計(jì)顯示iPhone用戶忠誠(chéng)度沒(méi)Android高。

據(jù)CIRP分享的最新統(tǒng)計(jì)數(shù)據(jù),截至9月份的前12個(gè)月,(美國(guó)市場(chǎng))Android用戶的忠誠(chéng)度(用戶留存率)為92%,而iOS則是89%。

辛普森悖論與“人生的第三條路”

據(jù)了解,CIRP的季度統(tǒng)計(jì)以500名真實(shí)消費(fèi)者為樣本。

辛普森悖論與“人生的第三條路”

我好奇查了一下,CIRP公布了2017年Q4美國(guó)智能手機(jī)市場(chǎng),iPhone的市場(chǎng)份額達(dá)39%,與2016年四季度的34%相比,同比增長(zhǎng)了5%。由上圖我們也可以看到,自2017年底以來(lái),iOS用戶的忠誠(chéng)度是持續(xù)上升的。

既然iPhone用戶更不忠誠(chéng),投奔Android陣營(yíng)的人不該更多嗎?為何市場(chǎng)份額不降反升?

這里的確會(huì)有一個(gè)令人“疑惑”之處。

讓我們簡(jiǎn)單算一下:

  1. 500個(gè)用戶,按照最新市場(chǎng)份額,iPhone用戶有195人,Android用戶有305人;
  2. Android用戶的忠誠(chéng)度(用戶留存率)為92%,而iOS則是89%。所以叛逃率分別為8%和11%;
  3. 按此計(jì)算,Android用戶叛逃了305*8%=24.4人,iPhone用戶叛逃了195*11%=21.45人。

所以,真相是,盡管所謂“忠誠(chéng)度”更低,但iPhone用戶的凈流入人數(shù)還是更多。

02

這讓我想起了以前曾經(jīng)寫(xiě)過(guò)的辛普森悖論。

斯坦福講義里的例子:某大學(xué)歷史系和地理系招生,共有13男13女報(bào)名。歷史系5男報(bào)名錄取1男,8女報(bào)名錄取2女。地理系8男報(bào)名錄取6男,5女報(bào)名錄取4女。

  • 歷史系:1/5(男) < 2/8 (女)
  • 地理系:6/8(男) < 4/5 (女)

合 計(jì):7/13(男)> 6/13 (女)

上面的數(shù)據(jù)給出一個(gè)令人迷惑的結(jié)論:盡管每個(gè)系女生的錄取率都更高,但整體算下來(lái)男生的錄取率卻更高。

1. 每個(gè)系的女生的錄取率卻都高于男生錄取率

歷史系女生的錄取率(2/8)大于男生錄取率(1/5);地理系女生錄取率(4/5)也高于男生錄取率(6/8)。

2. 整個(gè)學(xué)校統(tǒng)計(jì),男生錄取率(7/13)高于女生錄取率(6/13)

當(dāng)人們嘗試探究?jī)煞N變量(比如新生錄取率與性別)是否具有相關(guān)性的時(shí)候,會(huì)分別對(duì)之進(jìn)行分組研究。然而,在分組比較中都占優(yōu)勢(shì)的一方,在總評(píng)中有時(shí)反而是失勢(shì)的一方。該現(xiàn)象于20世紀(jì)初就有人討論,但一直到1951年,E.H.辛普森在他發(fā)表的論文中闡述此一現(xiàn)象后,該現(xiàn)象才算正式被描述解釋。后來(lái)就以他的名字命名此悖論,即辛普森悖論。

關(guān)于上題“錄取率”,倒過(guò)來(lái)想容易很多,歷史系女生被淘汰6人,男生被淘汰4人。地理系女生被淘汰1人,男生被淘汰2人。男生在基數(shù)較大的歷史系申請(qǐng)人群中,絕對(duì)錄取數(shù)更多,從而令整體淘汰率更低。

為了避免辛普森悖論出現(xiàn),就需要斟酌個(gè)別分組的權(quán)重,以一定的系數(shù)去消除以分組資料基數(shù)差異所造成的影響,同時(shí)必需了解該情境是否存在其他潛在要因而綜合考慮。

  • 關(guān)于基數(shù)差異所帶來(lái)的相關(guān)思考;
  • 另外一種基數(shù)差異所帶來(lái)的認(rèn)知陷阱,就是卡尼曼和特維爾斯基提出的“基礎(chǔ)概率謬誤”(Base Rate Fallacy)。

03

《簡(jiǎn)單統(tǒng)計(jì)學(xué)》里寫(xiě)道:混雜因素常常出現(xiàn)在使用觀測(cè)性數(shù)據(jù)的研究中,因?yàn)槿藗儫o(wú)法通過(guò)現(xiàn)實(shí)的方法使這些因素維持恒定。

所以,我們應(yīng)該牢記:一項(xiàng)研究的結(jié)論有可能受到混雜因素的干擾。

辛普森悖論與“人生的第三條路”

該書(shū)作者加里.史密斯說(shuō),辛普森悖論實(shí)際上是更早時(shí)候由兩位統(tǒng)計(jì)學(xué)家發(fā)現(xiàn)的。

辛普森悖論指的是:當(dāng)聚合數(shù)據(jù)被分解時(shí)其中的模式發(fā)生逆轉(zhuǎn)的現(xiàn)象。

該書(shū)還舉了幾個(gè)有趣的例子:

(1)阿拉斯加航空公司在五個(gè)存在競(jìng)爭(zhēng)的主要機(jī)場(chǎng),擁有優(yōu)于另一家航空公司的準(zhǔn)點(diǎn)運(yùn)行記錄,但其總體準(zhǔn)點(diǎn)記錄則不如競(jìng)爭(zhēng)對(duì)手,為什么?

因?yàn)榘⒗辜雍娇論碛性S多飛往西雅圖的航班,而西雅圖的天氣問(wèn)題經(jīng)常導(dǎo)致飛機(jī)延誤 。

(2)對(duì)于每個(gè)年齡群體,瑞典的女性死亡率都要低于哥斯達(dá)黎加,但瑞典擁有更高的女性總體死亡率,為什么?

因?yàn)槿鸬鋼碛懈嗟睦夏昱?(老年人擁有相對(duì)較高的死亡率 ) 。

(3)一項(xiàng)醫(yī)學(xué)研究發(fā)現(xiàn),一種手術(shù)對(duì)于小型和大型腎結(jié)石的治療成功率均高于另一種手術(shù),但其總體成功率卻不如另一種手術(shù),為什么 ?

因?yàn)樗?jīng)常被用于治療大型腎結(jié)石(大型腎結(jié)石的治療成功率相對(duì)較低 ) 。

以上例子之所以存在辛普森悖論,是因?yàn)槟撤N混雜因素對(duì)聚合數(shù)據(jù)產(chǎn)生了影響 。更值得學(xué)習(xí)的是,加里.史密斯寫(xiě)道:這并不意味著分解數(shù)據(jù)永遠(yuǎn)優(yōu)于聚合數(shù)據(jù) ,舉例如下:

在下表中,對(duì)兩個(gè)假想的棒球選手進(jìn)行了比較,將數(shù)據(jù)分解成了單日和雙日。例如 :科里在雙日的 1 0 0次擊球中擊出 2 0個(gè)安打 ,安打率為 2 0 / 1 0 0 = 0 . 2 0 0 。

在這些編造出來(lái)的數(shù)據(jù)中 ,兩名選手恰巧在單日擁有更好的表現(xiàn) ,科里恰巧在單日擁有更多的擊球次數(shù) 。因此 ,雖然吉米在單雙日都具有更高的安打率 ,但是整個(gè)賽季安打率更高的人是科里 。

辛普森悖論與“人生的第三條路”

根據(jù)這些數(shù)據(jù) ,你認(rèn)為誰(shuí)是更好的擊球手

正確答案是:科里。因?yàn)槲覀儧](méi)有理由認(rèn)為單雙日是一個(gè)有意義的混雜因素 ,這只是數(shù)據(jù)中的一種巧合而已 。

在此情況下,聚合數(shù)據(jù)可以更加準(zhǔn)確地衡量誰(shuí)是更好的擊球手 。

04

下面介紹一個(gè)更“實(shí)戰(zhàn)”的案例,這段內(nèi)容來(lái)自“數(shù)數(shù)科技”(公眾號(hào):ThinkingData)。

這個(gè)例子其實(shí)是倒過(guò)來(lái)說(shuō)辛普森悖論:總評(píng)中占優(yōu)勢(shì)的,在每個(gè)分組比較中反而都占劣勢(shì)。

工作中的典型案例:

某產(chǎn)品的用戶中有10000人使用Android設(shè)備、5000人使用iOS設(shè)備,整體的付費(fèi)轉(zhuǎn)化率應(yīng)該是5%。細(xì)分發(fā)現(xiàn)其中IOS設(shè)備的轉(zhuǎn)化率僅為4%,而Android設(shè)備則是5.5%。“聰明”的數(shù)據(jù)分析師得出結(jié)論:iOS平臺(tái)的用戶付費(fèi)轉(zhuǎn)化率低下,建議放棄IOS平臺(tái)的研發(fā)。

一般來(lái)說(shuō),iOS平板的付費(fèi)轉(zhuǎn)化率比Android平板高出很多,而iOS手機(jī)的轉(zhuǎn)化率也相對(duì)更好。這種情況下,設(shè)備類型就是復(fù)雜變量,如果數(shù)據(jù)是根據(jù)設(shè)備類型得到,那么其他的數(shù)據(jù)就可能被完全忽略。

接下來(lái)我們來(lái)對(duì)比這一組數(shù)據(jù):

辛普森悖論與“人生的第三條路”

由此可見(jiàn),Android設(shè)備轉(zhuǎn)化率無(wú)論在平板端還是在手機(jī)端的轉(zhuǎn)化率都小于iOS設(shè)備,這也跟我們的常規(guī)預(yù)期相符。

辛普森悖論與“人生的第三條路”

當(dāng)計(jì)算全設(shè)備情況時(shí),Android的轉(zhuǎn)化比例為550/10000=5.5%,iOS的轉(zhuǎn)化比例只有200/5000=4.0%。這也是題中“聰明”的數(shù)據(jù)分析師得出iOS版本應(yīng)該下線的根源。

原因與應(yīng)對(duì)策略:誤區(qū)產(chǎn)生的原因說(shuō)起來(lái)也很簡(jiǎn)單,就在于將“值與量”兩個(gè)維度的數(shù)據(jù),歸納成了“值”一個(gè)維度的數(shù)據(jù),并進(jìn)行了合并。

(從上上圖我們可以看到,基數(shù)較大的Android平板把“整體轉(zhuǎn)化率”的數(shù)據(jù)帶偏了。)

如果要避免“辛普森悖論”給我們帶來(lái)的誤區(qū),就需要斟酌個(gè)別分組的權(quán)重,以一定的系數(shù)去消除因分組資料基數(shù)差異所造成的影響。而在實(shí)際轉(zhuǎn)化例子中,就需要用如“ARPU”、“ARPPU”這樣看似相似實(shí)際上有很大差異的指標(biāo)來(lái)進(jìn)行分割。

同樣地,如果要更客觀分析產(chǎn)品的運(yùn)營(yíng)情況,就需要設(shè)立更多角度去綜合評(píng)判。還是拿上述的設(shè)備轉(zhuǎn)化率為例,產(chǎn)品層考慮轉(zhuǎn)化的前提會(huì)優(yōu)先考慮分發(fā)量、用戶量、運(yùn)營(yíng)思路、口碑等等。而往往為了實(shí)現(xiàn)最后的轉(zhuǎn)化需要,需要更多前置目標(biāo)做鋪墊。

A/B測(cè)試中的注意點(diǎn):

聯(lián)想到產(chǎn)品運(yùn)營(yíng)的實(shí)踐,一個(gè)常見(jiàn)的A/B測(cè)試誤判例子是這樣的:拿1%用戶跑了一個(gè)重大版本,發(fā)現(xiàn)試驗(yàn)版本購(gòu)買率比對(duì)照版本高,就說(shuō)試驗(yàn)版本更好,我們應(yīng)該發(fā)布試驗(yàn)版本。

而事實(shí)上,我們選取的試驗(yàn)組里往往會(huì)挑選那些樂(lè)于交流、熱衷產(chǎn)品、又或者是付費(fèi)率高粘性高的用戶,把他們的數(shù)據(jù)與全體用戶對(duì)比是不客觀的。當(dāng)最后發(fā)布試驗(yàn)版本時(shí),反而可能降低用戶體驗(yàn),甚至造成用戶留存和營(yíng)收數(shù)據(jù)的雙雙下降。

收獲與總結(jié):

避免辛普森悖論的關(guān)鍵是要同時(shí)參考不同用戶間的事實(shí)全貌。

  • 第一,準(zhǔn)確的用戶分群在數(shù)據(jù)分析中是非常重要的,尤其是在免費(fèi)產(chǎn)品當(dāng)中,平均用戶不僅不存在,而且是誤導(dǎo)研發(fā)的因素之一,所以關(guān)鍵在于利用特征將用戶進(jìn)行合理劃分。
  • 第二,在一個(gè)具體的產(chǎn)品中,普適型的數(shù)據(jù)(如粗暴的對(duì)比IOS和Android總體情況)是沒(méi)有多大參考意義的,一定要細(xì)分到具體設(shè)備、國(guó)家、獲取渠道、消費(fèi)能力等等再進(jìn)行比對(duì)才有價(jià)值。
  • 第三,斟酌個(gè)別分組的權(quán)重,以一定的系數(shù)去消除以分組資料基數(shù)差異所造成的影響,同時(shí)必需了解該情境是否存在其他潛在要因而綜合考慮。

05

我們認(rèn)為數(shù)據(jù)科學(xué)家和分析師是客觀的,但數(shù)據(jù)可能會(huì)撒謊,如西諺所言:“通往地獄的道路是用好意鋪就的”。

亞馬遜歐洲商業(yè)智能部門(mén)負(fù)責(zé)人、資深數(shù)據(jù)科學(xué)家KarolisUrbonas,研究了數(shù)據(jù)科學(xué)家們應(yīng)該知道的三種常見(jiàn)的“謊言”。

以下是引用他的觀點(diǎn):

1. 平均無(wú)處不在的平均值

平均值這種過(guò)度使用的聚合度量造成了無(wú)處不在的謊言,無(wú)論何時(shí)使用平均指標(biāo)–除非底層數(shù)據(jù)正常分布(這種狀況很少出現(xiàn))——平均值都無(wú)法反應(yīng)現(xiàn)實(shí)的任何有用信息。當(dāng)數(shù)據(jù)分布偏斜時(shí),平均值將受到影響,沒(méi)有任何意義。平均值不是一個(gè)強(qiáng)大度量工具,容易受到異常值與正態(tài)分布有偏差的影響。

辛普森悖論與“人生的第三條路”

2. 將數(shù)據(jù)擬合為假設(shè)–證實(shí)性偏見(jiàn)

如果數(shù)據(jù)科學(xué)家不得不快速得到結(jié)果,他們不得不快速回答或者解決問(wèn)題,這意味著他們會(huì)把發(fā)現(xiàn)的第一個(gè)雜散相關(guān)就當(dāng)做答案。在這些情況下,數(shù)據(jù)科學(xué)家搜索證據(jù)以確認(rèn)假設(shè),即“為假設(shè)尋找數(shù)據(jù)”。

3. 并不存在的模式

人類的大腦善于在混亂中發(fā)現(xiàn)模式或圖案–有時(shí),它們開(kāi)始發(fā)現(xiàn)并不存在的模式,這是數(shù)據(jù)科學(xué)家的致命陷阱。

辛普森悖論與“人生的第三條路”

說(shuō)到數(shù)據(jù)會(huì)說(shuō)謊,最有欺騙性的的例子莫過(guò)于統(tǒng)計(jì)學(xué)中著名的辛普森悖論了,正如前面兩段所提及的。

06

假如我們的工作與數(shù)據(jù)和統(tǒng)計(jì)無(wú)關(guān),辛普森悖論有何意義呢?

辛普森悖論就像是欲比賽100場(chǎng)籃球以總勝率評(píng)價(jià)好壞,于是有人專找高手挑戰(zhàn)20 場(chǎng)而勝1場(chǎng),另外80場(chǎng)找平手挑戰(zhàn)而勝40場(chǎng),結(jié)果勝率41%,另一人則專挑高手挑戰(zhàn)80場(chǎng)而勝8場(chǎng),而剩下20場(chǎng)平手打個(gè)全勝,結(jié)果勝率為28%,比 41%小很多,但仔細(xì)觀察挑戰(zhàn)對(duì)象,后者明顯較有實(shí)力。

——百度百科

量與質(zhì)是不等價(jià)的,無(wú)奈的是量比質(zhì)來(lái)得容易量測(cè),所以人們總是習(xí)慣用量來(lái)評(píng)定好壞,而此數(shù)據(jù)卻不是重要的。

除了質(zhì)與量的迷思之外,辛普森悖論的另外一個(gè)啟示是:

如果我們?cè)谌松木駬裆线x擇了一條比較難走的路,就得要有可能不被賞識(shí)的領(lǐng)悟,所以這算是懷才不遇這個(gè)成語(yǔ)在統(tǒng)計(jì)學(xué)上的詮釋。

關(guān)于道路難易的選擇,有三種人生路線:

(1)較難的道路

例如愛(ài)因斯坦,他說(shuō),科學(xué)研究好像鉆木板,有人喜歡鉆薄的,而我喜歡鉆厚的。類似的職業(yè)有科學(xué)家、首富、體育冠軍、明星基金經(jīng)理、超級(jí)巨星,等等。

這類道路,獲勝概率極低,付出代價(jià)極大。也容易落入“懷才不遇”的境地。當(dāng)然,在一個(gè)富足的、有安全感的社會(huì)里,會(huì)有更多的人選擇這條路。期待我們亦如是。

此謂:Think big!

(2)較容易的道路

平凡之路,是你我普通人主動(dòng)、或者被動(dòng)的選擇。過(guò)過(guò)日子,陪好家人,自得其樂(lè),不危害社會(huì),也沒(méi)啥不好。比較是萬(wàn)惡之源,這條道路上的人的絕大多數(shù)苦惱,來(lái)自與第一條道路人士的比較。

(3)短期容易長(zhǎng)期較難的道路

這種道路眼下看起來(lái)并不難,人人可以走,但最終堅(jiān)持下來(lái)的卻極少。

巴菲特在1989年給股東的信里寫(xiě)道:

我們之所以能夠獲得現(xiàn)在這樣的成功,是因?yàn)槲覀兛偸菍W⒂诎l(fā)現(xiàn)那些一英尺高的,我們能夠跨越的障礙,而不是因?yàn)槲覀儷@得了什么能夠一舉越過(guò)七英尺的能力。

雖然說(shuō)起來(lái)似乎有點(diǎn)不公平,但是無(wú)論在經(jīng)營(yíng)還是投資當(dāng)中,往往都是堅(jiān)持那些簡(jiǎn)單和顯而易見(jiàn)的東西比解決難題更賺錢。如同上面的“辛普森悖論”里提及的籃球比賽,長(zhǎng)期投資這類事,是可以繞開(kāi)“專挑高手挑戰(zhàn)”之路的。

在某種意義上,價(jià)值投資,長(zhǎng)線思維,其實(shí)是逆向運(yùn)用了“辛普森悖論”,找到高確定性的小目標(biāo),看起來(lái)“分組比較”中沒(méi)什么優(yōu)勢(shì),但利用時(shí)間的魔力,最終實(shí)現(xiàn)了總體統(tǒng)計(jì)上的最高回報(bào)。

選擇較容易的“一英尺高的橫桿”,去找平手挑戰(zhàn)籃球,并非逃避難題,專挑軟柿子捏,而是為了實(shí)現(xiàn)可重復(fù)、可持續(xù)的事情。只有在更少的、更重要的變量分析上持續(xù)做到最好,才是提高整體投資回報(bào)確定性與大概率的最簡(jiǎn)單、最樸素的方法。

此謂:Thinklong!

最終,正確的Long,都將變成Big。

最后

第三條道路,其實(shí)是前兩條道路的混合。其短期看起來(lái)是第二條路,長(zhǎng)期看起來(lái)是第一條路。

對(duì)比“較難的道路”,理論上這條路普通人也有指望。在這條道路上,要取得非凡的成果,沒(méi)有必要非得做非凡的事情。但,反之,僅靠平庸的疊加,不管你多么拼命、堅(jiān)持,也未必能夠取得非凡的成果。

這其中需要天賦、勇氣、努力、熱愛(ài)、意志、運(yùn)氣和夢(mèng)想。

深究下去,第二條路上的人,就條件而言與第三條路上的人并無(wú)二致。對(duì)于絕大多數(shù)資質(zhì)平庸的世人,第二條路是生活的常態(tài),第三條路是生活的希望。辛普森悖論是兩條路之間神秘鏈接的一種。

關(guān)于這“短期容易、長(zhǎng)期較難的道路”,上帝是慈悲的,令這路可期盼;上帝是智慧的,讓這路不簡(jiǎn)單。

 

作者:老喻在加,公眾號(hào):孤獨(dú)大腦(ID:lonelybrain)

本文由 @老喻在加 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!