用戶增長(zhǎng)實(shí)驗(yàn)三部曲(1):生活中需要實(shí)驗(yàn)思維
筆者將用“用戶增長(zhǎng)實(shí)驗(yàn)三部曲”來介紹實(shí)驗(yàn)思維、實(shí)驗(yàn)如何用來歸因、以及準(zhǔn)確量化結(jié)果。生活中,我們經(jīng)常可以看到歸因錯(cuò)誤的例子。那我們就可以用實(shí)驗(yàn)思維來歸因驗(yàn)證以及評(píng)估增量,而不是讓實(shí)驗(yàn)思維局限于科研、醫(yī)學(xué)和用戶增長(zhǎng)工作。
01 兩類歸因錯(cuò)誤的例子
1. 錯(cuò)把相關(guān)當(dāng)因果
假設(shè)A和B兩件事情,簡(jiǎn)單說因果性就是指原因A造成了結(jié)果B,A導(dǎo)致了B;而相關(guān)性指A的發(fā)生伴隨著B的發(fā)生,A和B很可能沒有直接聯(lián)系。因果性和相關(guān)性的混淆充滿了我們的日常生活,很多時(shí)候我們誤把相關(guān)性當(dāng)成因果性,去做錯(cuò)誤的歸因。
例子很多,簡(jiǎn)單舉一類例子如下:
- 經(jīng)常喝紅酒有助于身體健康
- 從小學(xué)習(xí)彈鋼琴的孩子學(xué)習(xí)成績(jī)比不學(xué)的人要好
- 經(jīng)常喝咖啡的人更容易得心腦血管疾病
這里例子都呈現(xiàn)出一些相關(guān)性,并且如果需要一定能夠給出詳實(shí)的數(shù)據(jù)支持,但是結(jié)論卻不一定成立。
稍微仔細(xì)推敲我們能夠發(fā)現(xiàn),喝紅酒的人健康,是因?yàn)楹燃t酒,還是因?yàn)楹燃t酒的人群,有著相對(duì)好的生活環(huán)境和醫(yī)療條件?
類似的,從小學(xué)習(xí)鋼琴的小孩,他們的家庭條件、對(duì)教育的投入程度是不是會(huì)更好?
而苦逼的經(jīng)常喝咖啡的是加班族、熬夜黨,他們得心腦血管疾病的概率是不是要高于常人?
所以,面對(duì)這些信息時(shí),不能簡(jiǎn)單的拿相關(guān)當(dāng)因果,應(yīng)該需要更進(jìn)一步、更嚴(yán)謹(jǐn)?shù)难芯?,而?shí)驗(yàn)是最好的方法。
2. 結(jié)論先行造因果
結(jié)論先行很常見,有了結(jié)論各種找理由和數(shù)據(jù)去支撐去這個(gè)結(jié)論。心理學(xué)中的“稟賦效應(yīng)”,解釋了這種現(xiàn)象。多數(shù)人會(huì)覺得自己的東西就是好的,自己的行為總能帶來積極影響。
比如買股票,一頓操作之后(指賣了一些又買了一些)發(fā)現(xiàn)自己掙錢了,但是操作后掙錢了,有兩個(gè)可能性:
- 大盤漲了,你只是隨大盤漲實(shí)際并沒有增益;
- 確實(shí)是操作帶來了增益??梢约僭O(shè)回到?jīng)]有操作,簡(jiǎn)單按照操作前的持倉(cāng)情況計(jì)算當(dāng)前的收益,就知道答案了。
又比如,微信這樣的超級(jí)App,每個(gè)版本都要上線很多個(gè)優(yōu)化點(diǎn),假設(shè)上線后發(fā)現(xiàn)朋友圈的用戶活躍度提升了。
那么問題來了,究竟是哪個(gè)優(yōu)化點(diǎn)帶來了這個(gè)提升呢?
這個(gè)很難說清楚,以至于大家在總結(jié)工作的時(shí)候,都會(huì)或多或少的把增長(zhǎng)歸因到自己那個(gè)優(yōu)化點(diǎn),用新版本上線后與上線前的活躍數(shù)據(jù)來簡(jiǎn)單比較。這里最明顯的漏洞有兩個(gè):
1)把活躍度提升和具體某個(gè)優(yōu)化點(diǎn)建立關(guān)聯(lián),最多就是相關(guān)性,而不是因果性。除非你這個(gè)優(yōu)化點(diǎn)帶來了壓倒性的變化,無可置疑的拉動(dòng)整體活躍,比如前段時(shí)間的朋友圈支持發(fā)表情~
2)用新版本上線后比上線前,忽略了活躍度隨時(shí)間波動(dòng)的影響:有可能上線后這段時(shí)間因?yàn)槟承狳c(diǎn)事件爆發(fā),大家紛紛轉(zhuǎn)發(fā)刷屏帶來了提升。
再比如,這篇文章的分享和在看比之前要多了,甚至還有打賞,我可能會(huì)覺得是我寫的比之前的更好了……但其實(shí)不一定呀~~
02 兩個(gè)正確歸因的例子
1. 醫(yī)學(xué)中的雙盲實(shí)驗(yàn)
雙盲實(shí)驗(yàn)應(yīng)用在醫(yī)學(xué)上,全稱是隨機(jī)雙盲對(duì)照實(shí)驗(yàn)。
首先是把若干被試者隨機(jī)分成實(shí)驗(yàn)組和對(duì)照組,然后進(jìn)行不同的治療方案,以此驗(yàn)證藥物或者療法是否有用,或者是否有副作用。
“雙盲”的具體解釋,可以參閱下方:
雙盲實(shí)驗(yàn)是一種嚴(yán)格的實(shí)驗(yàn)方法,實(shí)驗(yàn)者和參與者都不知道哪些參與者屬于對(duì)照組(control group)、哪些屬于實(shí)驗(yàn)組(experimental group)。只有在所有數(shù)據(jù)被記錄完畢之后(在有些情況下是分析完畢之后),實(shí)驗(yàn)者才能知道那些參與者是哪些組的。
采用雙盲實(shí)驗(yàn)是為了要減少偏見(prejudices)和無意識(shí)地暗示(unintentional physical cues)對(duì)實(shí)驗(yàn)結(jié)果的影響。對(duì)于被試者的隨機(jī)分配(Random assignment)到對(duì)照組或者實(shí)驗(yàn)組的做法是雙盲實(shí)驗(yàn)中至關(guān)重要的一步。確認(rèn)哪些受試者屬于那些組的信息交由第三方保管,并且在研究結(jié)束之前不能告知研究者。
——百度百科
更加生動(dòng)的版本,可以在讀完本文后,到bilibili去看下李永樂老師的視頻:
通過雙盲實(shí)驗(yàn),甚至是更嚴(yán)謹(jǐn)?shù)娜?shí)驗(yàn)(即受試對(duì)象、研究人員和實(shí)驗(yàn)分析人員均不知道受試對(duì)象的分組和處理情況),歷時(shí)很久,才可以得到嚴(yán)謹(jǐn)?shù)慕Y(jié)論。
題外話,所以西藥的研發(fā)和實(shí)驗(yàn)成本相當(dāng)高,價(jià)格也相對(duì)高一些。
2. 經(jīng)濟(jì)學(xué)中的實(shí)驗(yàn)方法
2019年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)授予了麻省理工和哈佛大學(xué)的三位經(jīng)濟(jì)學(xué)家,他們主要的貢獻(xiàn)是長(zhǎng)期以來在發(fā)展中國(guó)家使用隨機(jī)對(duì)照實(shí)驗(yàn)的方法,驗(yàn)證了增加教育投入、提升醫(yī)療水平對(duì)于經(jīng)濟(jì)增長(zhǎng)的核心作用。
獲獎(jiǎng)?wù)呤莵碜月槭±砉さ姆驄DAbhijit Banerjee和Esther Duflo以及哈佛大學(xué)的Michael Kremer
官方頒獎(jiǎng)詞是:
“表彰其在全球扶貧問題上使用的實(shí)驗(yàn)型方法(for their experimental approach to all eviating global poverty)”
列舉一些他們的實(shí)驗(yàn)內(nèi)容,可以感受下實(shí)驗(yàn)可以解答哪些我們的生活中的疑問:
- 健康:社區(qū)醫(yī)療能改善居民的健康水平嗎?(針對(duì)非洲烏干達(dá)8100個(gè)農(nóng)村家庭的研究)
- 金融:加大小微貸款的額度能促進(jìn)經(jīng)濟(jì)發(fā)展嗎?(針對(duì)埃及1000名借款人的研究)
- 教育:高科技教育工具能提高學(xué)生的成績(jī)嗎?(針對(duì)印度619名中學(xué)生的研究)
這些問題,答案看似都是“當(dāng)然能??!”,通常我們都不會(huì)去質(zhì)疑。隨著近幾十年來因果關(guān)系成為經(jīng)濟(jì)研究領(lǐng)域的核心問題,經(jīng)濟(jì)學(xué)家普遍轉(zhuǎn)向了證實(shí)性數(shù)據(jù)分析,而隨機(jī)對(duì)照實(shí)驗(yàn)方法方法的應(yīng)用,幫助人們找到了探索這些因果關(guān)系的有力武器。
03 生活中需要實(shí)驗(yàn)思維
上面說到的實(shí)驗(yàn),都費(fèi)時(shí)費(fèi)力成本極高。也許你會(huì)說,生活中很難去做理想的隨機(jī)對(duì)照實(shí)驗(yàn),那實(shí)驗(yàn)對(duì)我們有什么用?
確實(shí)很難,很多時(shí)候我們沒有實(shí)驗(yàn)組和對(duì)照組,沒有實(shí)驗(yàn)條件,即使有也不愿意花費(fèi)長(zhǎng)時(shí)間去做觀測(cè)。然而,基本的歸因邏輯和實(shí)驗(yàn)思維是應(yīng)該要具備的,這樣才能知道哪些事情做的有效,哪些無效,或者至少可以識(shí)破假象,跳出騙局。
我把實(shí)驗(yàn)思維,理解成一種面對(duì)結(jié)論盡可能尋求有力證據(jù)的批判性思維,它的黃金法則是通過實(shí)驗(yàn)方法來驗(yàn)證。那么實(shí)驗(yàn)思維具體怎么應(yīng)用?
1. 首先是要懷疑
信息爆炸謠言滿天飛,需要懷疑這些結(jié)論是否經(jīng)過實(shí)驗(yàn)驗(yàn)證。懷疑不等于抬杠說“任何未經(jīng)實(shí)驗(yàn)驗(yàn)證的結(jié)果都不可信”,而是說的我們需要拒絕無腦接受,并且通過基本的原理和邏輯來分析。
2. 然后是嘗試驗(yàn)證
比懷疑更可貴的是真正動(dòng)手去設(shè)計(jì)實(shí)驗(yàn),這里并不局限在隨機(jī)對(duì)照實(shí)驗(yàn),包含生活中一些謠言的驗(yàn)證。這里實(shí)驗(yàn)的目標(biāo)是驗(yàn)證真?zhèn)危?/strong>千萬別忘了我們中學(xué)學(xué)的淀粉遇碘變藍(lán),是不是真的這樣,走個(gè)實(shí)驗(yàn)啊~
比如說抖音、快手中經(jīng)常有些生活小妙招:白醋+蘇打+洗衣液幾乎可以清潔萬物;XX不粘鍋可以不用油煎雞蛋。這些視頻不乏點(diǎn)贊百萬+,視頻下面的白醋蘇打XX鍋也是賣得很好。實(shí)際上,驗(yàn)證真?zhèn)蔚某杀竞艿?,更多是人愿意相信,極少有人站出來做簡(jiǎn)單驗(yàn)證。
所以我認(rèn)為,實(shí)驗(yàn)思維存在門檻,門檻的根源,一是缺少懷疑精神,二是不愿嘗試驗(yàn)證。如《人類簡(jiǎn)史》中說,人具有八卦的本能和傳播的意愿,道聽途說、被動(dòng)接受和從眾會(huì)更加安全、舒適和自然。
3. 最后準(zhǔn)確歸因和量化
假設(shè)我們?cè)谏钪?、工作中有必要、且有足夠的成本來設(shè)計(jì)一些隨機(jī)對(duì)照實(shí)驗(yàn),怎么來設(shè)計(jì)實(shí)驗(yàn),用什么樣的方法來做分析?
首先設(shè)計(jì)的思路要對(duì),簡(jiǎn)單說可以概括為:”為了驗(yàn)證A對(duì)B是否有影響,需要把有無A當(dāng)成實(shí)驗(yàn)變量,需要有兩組可比的實(shí)驗(yàn)樣本,一組是A,一組是A+B”。
思路很簡(jiǎn)單,這里的A和B可以替換成任何你想驗(yàn)證的事物。比如我們做番茄炒蛋時(shí),番茄需要事先焯水嗎?大可試試看在其他條件一樣的情況下,一次焯水一次直接炒。再詳細(xì)點(diǎn),焯水多久,1分鐘還是3分鐘好吃,試一下?
準(zhǔn)確歸因相對(duì)清晰,而準(zhǔn)確量化的最最最核心就是實(shí)驗(yàn)組和對(duì)照組需要有可比性,道理雖然簡(jiǎn)單,但是有很多坑,我們?cè)趯?shí)驗(yàn)三部曲的篇2詳細(xì)介紹。然后的核心問題是需要看準(zhǔn)增量,具體涉及到一些統(tǒng)計(jì)學(xué)知識(shí)、實(shí)驗(yàn)具體下發(fā)時(shí)的潛在風(fēng)險(xiǎn),以及和實(shí)驗(yàn)?zāi)繕?biāo)高度匹配的分析方法,我們?cè)谌壳钠?詳細(xì)介紹。
尾巴
實(shí)驗(yàn)思維以及方法在生活中、工作中都很重要。實(shí)驗(yàn)三部曲,我們先說實(shí)驗(yàn)思維,再談如何應(yīng)用在產(chǎn)品經(jīng)理、產(chǎn)品運(yùn)營(yíng)的工作中,如何準(zhǔn)確量化一個(gè)功能或一次運(yùn)營(yíng)策略的貢獻(xiàn),如何正確分析一個(gè)增長(zhǎng)實(shí)驗(yàn)的效果。更進(jìn)一步,我們還會(huì)介紹增長(zhǎng)實(shí)驗(yàn)中常見的一些分析難點(diǎn)。
感謝支持,如有不當(dāng)還請(qǐng)指出。
作者:jinlei886;5年+用戶增長(zhǎng)的一手經(jīng)驗(yàn),前騰訊、滴滴出行用戶增長(zhǎng)產(chǎn)品經(jīng)理,專注增長(zhǎng)策略挖掘、增長(zhǎng)工具搭建、實(shí)驗(yàn)設(shè)計(jì)分析。浙江大學(xué)工學(xué)學(xué)士、理學(xué)博士。公眾號(hào):用戶增長(zhǎng)實(shí)戰(zhàn)筆記(ID:ugnote)
本文由 @jinlei886 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
可以轉(zhuǎn)載你的文章不
講了實(shí)驗(yàn)的重要性,作者還沒提增長(zhǎng)實(shí)驗(yàn)的事情呢呀,在后面嗎
在后面 哈哈稍等