被高估的A/B測(cè)試
編輯導(dǎo)語:近年來,“增長(zhǎng)黑客”的概念盛行,A/B測(cè)試作為“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)的最佳實(shí)踐,成為了底層指導(dǎo)邏輯,受到了企業(yè)們的青睞。但它也有自己的局限性,A/B測(cè)試能夠解決的問題有限。本文論述A/B測(cè)試的局限性以及應(yīng)當(dāng)如何正確看待它。
這不是一篇科普A/B測(cè)試的文章,這是一篇想要論證A/B測(cè)試局限性的文章。
近幾年“增長(zhǎng)黑客”概念盛行,A/B測(cè)試作為“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”的最佳實(shí)踐,復(fù)刻了用實(shí)驗(yàn)數(shù)據(jù)檢驗(yàn)假設(shè)的科學(xué)研究方法,將“適者生存”的進(jìn)化理論作為底層的指導(dǎo)邏輯,受到了廣大企業(yè)青睞。截至2021年3月底,字節(jié)跳動(dòng)累計(jì)已經(jīng)做了70多萬次A/B測(cè)試。
“產(chǎn)品是演化出來的,而非規(guī)劃出來的?!?/p>
這是張小龍《微信背后的產(chǎn)品觀》里的一段話。在這種產(chǎn)品觀念中,人類通過收集數(shù)據(jù)反饋,選擇好的產(chǎn)品方案,與自然選擇適應(yīng)度高的生物如出一轍。
如果我們相信進(jìn)化論是確證的真理,那么對(duì)于領(lǐng)域遷移下的“增長(zhǎng)方法論”,似乎也不必抱有懷疑。作為進(jìn)化論的擁躉者,我也一度將A/B測(cè)試看作無所不能的殺器,相信可以通過演化的力量獲得永恒的增長(zhǎng)。
遺憾的是,進(jìn)化論不只有自然選擇,而A/B測(cè)試卻只有自然選擇。由于對(duì)進(jìn)化論過度簡(jiǎn)化,A/B測(cè)試也就滋生了局限性。
一、自然選擇是一種貪婪算法
貪婪算法,是指在對(duì)問題求解時(shí),總是做出在當(dāng)前看來是最好的選擇。也就是說,不從整體最優(yōu)上加以考慮,算法得到的是在某種意義上的局部最優(yōu)解。無論是自然選擇,還是AB測(cè)試中的選擇,本質(zhì)而言都是一種貪婪算法。
不妨想象生物的進(jìn)化是在攀爬一座高峰,而自然選擇是牽引著生物向上攀爬的動(dòng)力。自然選擇將生物的適應(yīng)性作為唯一評(píng)判標(biāo)準(zhǔn),對(duì)任何基因突變?cè)斐傻倪m應(yīng)性下降的生物,都會(huì)毫不留情的消滅。長(zhǎng)此以往,整個(gè)生物總?cè)航K將會(huì)抵達(dá)這座山峰的頂端。
一切似乎都沒有問題。嚴(yán)苛的自然選擇總能驅(qū)動(dòng)生物適應(yīng)性的提升,登頂進(jìn)化的山峰。人類迷戀這種確定性的增長(zhǎng),想要借自然法則的增長(zhǎng)智慧和力量,于是開始崇拜A/B測(cè)試。
在“爬山”這個(gè)隱喻中,使用貪婪算法確實(shí)可以抵達(dá)山頂,可是誰說整個(gè)進(jìn)化的景觀中,就只有一座山峰呢?
二、進(jìn)化的另一面
讓我們想象一片群山連綿的山脈,在這樣的景觀中,自然選擇會(huì)牽引著生物朝著最近的山峰開始攀爬,可是當(dāng)生物成功登頂這座山峰后呢?
這時(shí)候,自然選擇的嚴(yán)苛就成為了短視的表現(xiàn)——因?yàn)樽匀贿x擇不允許任何的適應(yīng)度下降,于是從生物開始攀爬一座山峰時(shí),就注定被困在了這座山上。
如果這座山正好是整個(gè)景觀中的最高峰,比如珠穆朗瑪峰,那么生物也理所當(dāng)然會(huì)在自然選擇的牽引下登頂,達(dá)到進(jìn)化的頂端。可惜并非所有的生物都那么幸運(yùn),它們更多是被困在蟲魚鳥獸的山上,只能在已有的基礎(chǔ)上不斷調(diào)優(yōu),卻永遠(yuǎn)無法打破底層結(jié)構(gòu)。即使是人類,也無法保證自己在攀爬的是進(jìn)化景觀中的最高峰,我們同樣是受困者。
如果佛系一點(diǎn),不去奢求攀爬整個(gè)景觀中的最高峰,而只是攀爬腳下這座山時(shí),自然選擇同樣有可能帶來困境——因?yàn)樯仙降穆凡豢偸瞧教沟?,它更有可能是坑坑洼洼的,而自然選擇不允許向下,貪婪算法無法幫助我們通過一條坑坑洼洼,需要反復(fù)顛簸上下的路徑。
自然選擇的貪婪短視,推及到AB測(cè)試,我們有理由認(rèn)為每一次的擇優(yōu)只是在逼近局部的最優(yōu)解,卻不能帶來全局的最優(yōu)解。當(dāng)然,自然選擇只是進(jìn)化論的一部分,在整個(gè)進(jìn)化體系中,還有“遺傳漂變”,這在一定程度上可以制衡自然選擇的力量。然而將進(jìn)化理論遷移到產(chǎn)品設(shè)計(jì)領(lǐng)域時(shí),我們卻只看見了“物競(jìng)天擇,適者生存?!?/p>
三、回歸于人
回到開頭:近幾年“增長(zhǎng)黑客”的概念盛行,A/B測(cè)試復(fù)刻了用實(shí)驗(yàn)數(shù)據(jù)檢驗(yàn)假設(shè)的科學(xué)研究方法,將“適者生存”的進(jìn)化理論作為底層的指導(dǎo)邏輯,但是它沒有使用一個(gè)好的算法,也就沒辦法成為產(chǎn)品增長(zhǎng)的最佳實(shí)踐。
那什么才是好的算法呢?如果唯數(shù)據(jù)論和唯A/B測(cè)試論無法將我們帶到理想的位置,那么就需要回歸人的作用。
曾任今日頭條CEO的陳林在微頭條發(fā)過這樣一段話:
- 很多時(shí)候,AB測(cè)試幫助我們理解用戶,而不是幫助我們決策。
- 產(chǎn)品改進(jìn)只盯著數(shù)據(jù),不如不看數(shù)據(jù)。
字節(jié)跳動(dòng)在給短視頻平臺(tái)起名時(shí)內(nèi)部進(jìn)行了A/B測(cè)試,“抖音”這個(gè)選項(xiàng)實(shí)際位列第二名,但產(chǎn)品經(jīng)理從經(jīng)驗(yàn)角度認(rèn)為“抖音”長(zhǎng)期來講更符合認(rèn)知,更能體現(xiàn)這個(gè)產(chǎn)品的形態(tài),因此最終選擇了“抖音”這個(gè)名字。
四、受制于人
回歸于人,也就必然會(huì)受制于人。
世界上沒有兩片完全相同的樹葉。個(gè)體的多樣性,決定了不同的人擁有的能力和閱歷也不會(huì)一樣。即便是同一個(gè)體,在不同的環(huán)境下也可能會(huì)產(chǎn)生截然不同的想法和決定。
如果A/B測(cè)試回歸于人,就需要重新?lián)肀Р淮_定性。而我們對(duì)A/B測(cè)試的崇拜,有很大一部分原因就是它能夠帶來確定性的增長(zhǎng)。作為AB測(cè)試狂熱大廠的字節(jié)跳動(dòng),在無數(shù)次摸索中或許早已參透了A/B測(cè)試的局限性,進(jìn)而更加理性的將其作為工具來看待,而不是神。
本文由 @一寸 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
每一次的擇優(yōu)只是在逼近局部的最優(yōu)解,卻不能帶來全局的最優(yōu)解。
A/B測(cè)試不是萬能的,他是有一定的局限性。他是不可以更好地反映用戶需求的