中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

編輯導(dǎo)語(yǔ)：一個(gè)精確的測(cè)量，勝過(guò)一千個(gè)專(zhuān)家的意見(jiàn)，事實(shí)勝于雄辯。產(chǎn)品經(jīng)理在設(shè)計(jì)產(chǎn)品時(shí)，往往一個(gè)巧妙的低成本設(shè)計(jì)立馬就能使產(chǎn)品達(dá)到出乎意料的高收益的效果，本文分享了一些案例，供大家參考。

遙想2012那年，必應(yīng)的產(chǎn)品經(jīng)理提出了一個(gè)想法：將標(biāo)題下方的第一行文字移到標(biāo)題同一行?？上?，這個(gè)需求一聽(tīng)就離離原上譜，不出所料，需求被延期了半年。

好在該需求實(shí)現(xiàn)起來(lái)并不復(fù)雜，一個(gè)工程師決定試一試。不同的是，他通過(guò)設(shè)置對(duì)照實(shí)驗(yàn)（隨機(jī)一部分用戶(hù)顯示新UI，隨機(jī)一部分用戶(hù)顯示老UI），實(shí)現(xiàn)了這個(gè)需求。

無(wú)心插柳柳成蔭，實(shí)驗(yàn)開(kāi)啟沒(méi)幾個(gè)小時(shí)，「營(yíng)收過(guò)高」的監(jiān)控開(kāi)始報(bào)警。

你猜怎么著，不是埋點(diǎn)重復(fù)上報(bào)，不是搜索服務(wù)掛掉，是營(yíng)收真真切切地漲了12%！這意味著在當(dāng)年的美國(guó)，營(yíng)收增長(zhǎng)超過(guò)了1億美金。

這個(gè)傳奇的案例就是《關(guān)鍵迭代：可信賴(lài)的線上對(duì)照試驗(yàn)》一書(shū)的開(kāi)篇。接著作者Ron Kohavi（在線實(shí)驗(yàn)的「教父」）庖丁解牛般地展開(kāi)了關(guān)于對(duì)照實(shí)驗(yàn)的一切。這本書(shū)被譽(yù)為 A/B 測(cè)試「圣經(jīng)」，強(qiáng)烈建議互聯(lián)網(wǎng)相關(guān)從業(yè)人員精讀。

說(shuō)回這個(gè)例子，看起來(lái)「無(wú)關(guān)痛癢」的改動(dòng)，竟成了必應(yīng)歷史上最成功的 idea 之一。這項(xiàng)陳列實(shí)驗(yàn)帶來(lái)的結(jié)果，不僅提升了公司現(xiàn)有收益，還有可能影響了公司的戰(zhàn)略。

其中最令人拍案叫絕的部分是——得出這樣高價(jià)值的結(jié)論并沒(méi)有耗費(fèi)太多的資源。

那么，有沒(méi)有類(lèi)似的低成本而高價(jià)值（具備較高的指導(dǎo)意義）的實(shí)驗(yàn)？

有，但并不靠運(yùn)氣，而是靠「設(shè)計(jì)」。

本文從《關(guān)鍵迭代》、策略產(chǎn)品經(jīng)理相關(guān)書(shū)籍和直播分享中摘錄了一些案例，分享給大家。這些設(shè)計(jì)上的神來(lái)之筆，的確讓人回味無(wú)窮。但請(qǐng)別忘記，是設(shè)計(jì)者對(duì)業(yè)務(wù)本質(zhì)付出了99%的艱苦思考，才換來(lái)了這1%的天才靈感。

一、畫(huà)門(mén)法

這是一個(gè)虛構(gòu)的線上銷(xiāo)售小部件的電子商務(wù)公司。一天，市場(chǎng)營(yíng)銷(xiāo)部門(mén)希望通過(guò)發(fā)送優(yōu)惠券的促銷(xiāo)郵件來(lái)提升銷(xiāo)量。此前，公司沒(méi)有發(fā)過(guò)優(yōu)惠券，適應(yīng)這個(gè)新功能，改造成本較大。

在方案膠著之際，有員工對(duì)方案背后的假設(shè)提出了質(zhì)疑，他表示 Dr.Footcare 公司在添加優(yōu)惠券后，營(yíng)收反而大幅流失了。于是公司產(chǎn)生了合理?yè)?dān)心：在結(jié)賬界面增加優(yōu)惠券輸入框會(huì)降低營(yíng)收。即便沒(méi)有優(yōu)惠券，僅僅看到這個(gè)框也會(huì)拖慢用戶(hù)付款速度，并導(dǎo)致用戶(hù)開(kāi)始搜索優(yōu)惠券甚至放棄結(jié)賬。

于是，現(xiàn)在面臨的問(wèn)題似乎從「怎么新增優(yōu)惠券功能」變成了「在付款界面增加優(yōu)惠券輸入框會(huì)降低營(yíng)收嗎」。

為了評(píng)估這一問(wèn)題，他們沒(méi)有改造整個(gè)付款流程和新增任何數(shù)據(jù)存儲(chǔ)，而是——在墻上畫(huà)了一個(gè)門(mén)——來(lái)看看有多少人會(huì)試圖打開(kāi)它。如下圖的實(shí)驗(yàn)組1和實(shí)驗(yàn)組2，他們僅僅在這個(gè)頁(yè)面增加了個(gè)入口，實(shí)際上用戶(hù)輸入任何數(shù)字都是無(wú)效的。

這種方法的好處顯而易見(jiàn)：

• 開(kāi)發(fā)成本低，可快速上線
• 較好地還原了真實(shí)情況：假如全量上線，會(huì)有相當(dāng)一部分用戶(hù)對(duì)這個(gè)框產(chǎn)生困惑；那么這個(gè)小流量實(shí)驗(yàn)也可以還原這種困惑

結(jié)果是啥呢？對(duì)比對(duì)照組，實(shí)驗(yàn)組1和實(shí)驗(yàn)組2的營(yíng)收都下降了。實(shí)驗(yàn)組2因?yàn)樵黾恿藦棿埃ǜ黠@的打斷），導(dǎo)致?lián)p失更大。

果不其然，這意味著要干這事兒，除了包含設(shè)計(jì)成本、研發(fā)成本和維護(hù)成本之外，還有一開(kāi)始添加優(yōu)惠券框帶來(lái)的負(fù)向營(yíng)收。

不過(guò)筆者發(fā)現(xiàn)，這個(gè)例子還有更多可琢磨的地方：

• 優(yōu)惠券到底會(huì)不會(huì)刺激人消費(fèi)？
• 答案是肯定的。給了優(yōu)惠券，不用白不用啊。實(shí)際是激發(fā)了用戶(hù)損失厭惡的心理。
• 畫(huà)門(mén)法證明了「在付款頁(yè)面添加優(yōu)惠券輸入框」帶來(lái)的負(fù)向影響，那么優(yōu)惠券還能怎么用？
• 當(dāng)前的主流電商平臺(tái)，統(tǒng)統(tǒng)沒(méi)有在付款界面增加任何跳轉(zhuǎn)其他頁(yè)面的可能性，拼多多甚至把購(gòu)物車(chē)都去掉了。
• 他們把優(yōu)惠券本體前置到了選購(gòu)的流程中。淘寶在付款之前幫用戶(hù)領(lǐng)券，拼多多則用拼單的方式代替了優(yōu)惠券。

• 畫(huà)門(mén)法并沒(méi)有證明「郵件送優(yōu)惠券無(wú)法提升營(yíng)收」，怎么在不干擾其他用戶(hù)的情況下，用郵件優(yōu)惠券刺激用戶(hù)消費(fèi)呢？
• 其實(shí)郵件送優(yōu)惠券的古老手段依舊存在，但有兩點(diǎn)不同：

（1）給一小部分用戶(hù)分發(fā)，只為刺激忠誠(chéng)用戶(hù)的消費(fèi)，且不會(huì)產(chǎn)生大規(guī)模的優(yōu)惠券焦慮；

（2）在用戶(hù)主頁(yè)兌換，絕不干擾付款流程。

畫(huà)門(mén)法在精益創(chuàng)業(yè)中也有廣泛的應(yīng)用，當(dāng)你想在大學(xué)生中做一門(mén)露營(yíng)燒烤的生意時(shí)，不妨先把門(mén)畫(huà)出來(lái)——做一張簡(jiǎn)單的宣傳單或意向表，看看有多少人報(bào)名。用豐滿的事實(shí)，反向?yàn)樯虡I(yè)談判獲得優(yōu)勢(shì)。

二、反證法

張小龍說(shuō)過(guò)，微信永遠(yuǎn)把響應(yīng)速度作為最重要的用戶(hù)體驗(yàn)來(lái)對(duì)待。

當(dāng)然了，產(chǎn)品速度是越快越好。但提高十分之一秒的性能，到底有多重要？用戶(hù)真的能感知到嗎？

要知道改進(jìn)性能并不是個(gè)小活兒。我們既無(wú)法為一個(gè)肉眼無(wú)法感知的提升，專(zhuān)門(mén)組一個(gè)團(tuán)隊(duì)全力優(yōu)化。也很難在所有團(tuán)隊(duì)工作半年后，單獨(dú)拆出提速工作帶來(lái)的真正效果。

必應(yīng)和谷歌反其道而行之：想計(jì)算性能提升能帶來(lái)多少收益，成本太高。那我用反證法——通過(guò)主動(dòng)減速實(shí)驗(yàn)，計(jì)算性能下降會(huì)導(dǎo)致?tīng)I(yíng)收下降多少，再來(lái)反推，行不行？

這里需要用到一個(gè)關(guān)鍵假設(shè)，那就是局部線性近似：即該指標(biāo)（如營(yíng)收）對(duì)性能的變化圖線，在當(dāng)前值附近可以很好地被線性擬合。下圖展示的就是一個(gè)常見(jiàn)的性能和關(guān)鍵指標(biāo)之間的關(guān)系曲線。

支撐這個(gè)假設(shè)，有兩點(diǎn)原因：

• 經(jīng)驗(yàn)之談：如果是秒級(jí)別的變動(dòng)，用戶(hù)是可以體驗(yàn)到的，往往對(duì)于關(guān)鍵指標(biāo)是斷崖式下降。但毫秒級(jí)別的實(shí)驗(yàn)，用戶(hù)感知不明顯，就可以用線性近似。
• 抽樣驗(yàn)證：必應(yīng)曾做過(guò)一個(gè)100毫秒和一個(gè)250毫秒的減速實(shí)驗(yàn)，而250毫秒實(shí)驗(yàn)中數(shù)個(gè)關(guān)鍵指標(biāo)的差值，剛好大約是100毫秒實(shí)驗(yàn)的2.5倍左右（已考慮置信區(qū)間）。這也驗(yàn)證了線性關(guān)系的假設(shè)。

通過(guò)局部線性近似，大廠也得出相應(yīng)的結(jié)論：

• 對(duì)2017年的必應(yīng)而言，每提高十分之一秒的速度，可以帶來(lái)一千八百萬(wàn)美元的年度營(yíng)收的增長(zhǎng)
• 在亞馬遜，一個(gè)100毫秒的減速實(shí)驗(yàn)降低了1%的銷(xiāo)售量。

除了減速實(shí)驗(yàn)之外，我還想提及一個(gè)內(nèi)容平臺(tái)相關(guān)的「砍內(nèi)容實(shí)驗(yàn)」。思路也是用砍掉一部分某分類(lèi)內(nèi)容帶來(lái)的損失，來(lái)預(yù)估增加相應(yīng)內(nèi)容帶來(lái)的收益。

實(shí)驗(yàn)的基本假設(shè)是：這類(lèi)內(nèi)容是沒(méi)有達(dá)到飽和的。如果實(shí)驗(yàn)組砍掉100篇內(nèi)容帶來(lái)了50%的數(shù)據(jù)損失，那么增加100篇該分類(lèi)內(nèi)容就可以帶來(lái)5%的數(shù)據(jù)提升。

但和減速實(shí)驗(yàn)一樣，要注意量級(jí)過(guò)大的減速和減量會(huì)導(dǎo)致非線性的跌幅，大刀闊斧的減量帶來(lái)的數(shù)據(jù)結(jié)論是不可靠的。

三、工具變量法

問(wèn)：將看視頻的新用戶(hù)轉(zhuǎn)化為視頻作者，可以帶來(lái)什么收益？

常規(guī)的辦法，是直接利用現(xiàn)有數(shù)據(jù)進(jìn)行分析。也就是觀察性的因果研究，同時(shí)也叫準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)。如用構(gòu)造虛擬現(xiàn)實(shí)結(jié)合雙重差分法的方式，構(gòu)造可比較的對(duì)照組和實(shí)驗(yàn)組人群，來(lái)對(duì)比兩者的數(shù)據(jù)表現(xiàn)。

但這類(lèi)準(zhǔn)實(shí)驗(yàn)的設(shè)計(jì)往往需要很多假設(shè)，其中任何一個(gè)假設(shè)有錯(cuò)誤（如用戶(hù)活躍周期性是規(guī)律的，但實(shí)際不規(guī)律），就會(huì)影響到結(jié)論的準(zhǔn)確性。同時(shí)，在結(jié)論推廣層面，也有較大的解釋成本。

這時(shí)候，我們可以設(shè)計(jì)個(gè)實(shí)驗(yàn)來(lái)簡(jiǎn)化這個(gè)問(wèn)題。

通過(guò)引入一個(gè)工具變量——給實(shí)驗(yàn)組的新用戶(hù)發(fā) push 來(lái)改變用戶(hù)發(fā)視頻的意愿。實(shí)驗(yàn)組的用戶(hù)會(huì)隨機(jī)收到這么一條 push：“這是你來(lái)快手的第一天，發(fā)個(gè)作品記錄一下！”

這時(shí)候，實(shí)驗(yàn)組勢(shì)必會(huì)有一部分用戶(hù)被這個(gè)「額外的力」，轉(zhuǎn)化為了視頻作者。我們通過(guò)測(cè)量?jī)山M在關(guān)鍵指標(biāo)上的差異，就可以回答篇頭的問(wèn)題。不過(guò)，筆者認(rèn)為，考慮到該工具變量會(huì)對(duì)用戶(hù)產(chǎn)生一定打擾，所以還需關(guān)注護(hù)欄指標(biāo)如 push 的關(guān)閉情況。

這是快手的經(jīng)濟(jì)學(xué)家楊淼鈺博士在 DataFunTalk 直播中分享的案例。直播干貨滿滿，文末有鏈接，強(qiáng)烈建議精讀。

工具變量法的目標(biāo)是找到一種工具，使我們能夠近似實(shí)現(xiàn)對(duì)照。在生活中也有一些常見(jiàn)的工具變量，比如在探究基因?qū)π愿竦挠绊憰r(shí)，可以用雙胞胎進(jìn)行測(cè)量，把環(huán)境因素變成了不變量。此時(shí)雙胞胎本身，就是一個(gè)工具變量。

四、其他好用的實(shí)驗(yàn)設(shè)計(jì)方法

交錯(cuò)性實(shí)驗(yàn)：在人工測(cè)評(píng)某幾個(gè)模型的效果時(shí)，如何讓結(jié)果不受人的主觀影響？可以使用交錯(cuò)性實(shí)驗(yàn)——交錯(cuò)式排列待評(píng)估的內(nèi)容，仿照雙盲實(shí)驗(yàn)。

重復(fù)實(shí)驗(yàn)：在同一撥用戶(hù)上，實(shí)驗(yàn)一段時(shí)間，撤回一段時(shí)間。為探究直升機(jī)監(jiān)視與入室盜竊數(shù)量的關(guān)系，我們發(fā)現(xiàn)有直升機(jī)監(jiān)視時(shí)，入室盜竊數(shù)量減少，取消監(jiān)視則增加。

斷點(diǎn)回歸設(shè)計(jì)：這也是一種準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，如果想看頒發(fā)獎(jiǎng)學(xué)金對(duì)獲獎(jiǎng)人的影響，可以拿獎(jiǎng)學(xué)金的獲獎(jiǎng)閾值（如80分）上下的學(xué)生模擬隨機(jī)分配。我們的假設(shè)是：分?jǐn)?shù)剛好高于80的實(shí)驗(yàn)組學(xué)生，與分?jǐn)?shù)剛好低于80的對(duì)照組學(xué)生，在學(xué)習(xí)素質(zhì)上很相似。統(tǒng)一「學(xué)習(xí)素質(zhì)」這個(gè)重要變量之后，就可以進(jìn)一步探究了。

斷點(diǎn)回歸在社會(huì)學(xué)層面的用處很多，青山資本在《Z世代定義與特征丨青山資本2021年中消費(fèi)報(bào)告》一文中，也是運(yùn)用了斷點(diǎn)回歸的思路來(lái)劃分「Z時(shí)代」的。

世代的起止是由極重大事件產(chǎn)生的切割，使得某個(gè)年份前后的人群產(chǎn)生割裂式的思維和生活習(xí)慣差異。這恰恰與在計(jì)量經(jīng)濟(jì)學(xué)中研究社會(huì)問(wèn)題時(shí)應(yīng)用斷點(diǎn)回歸的原因不謀而合。

引用：

1. Ron Kohavi《關(guān)鍵迭代：可信賴(lài)的線上對(duì)照試驗(yàn)》機(jī)械工業(yè)出版社2、青十五《十五讀書(shū) | 策略產(chǎn)品經(jīng)理必讀的一本A/B測(cè)試“圣經(jīng)” B08》
2. DataFunTalk《快手歸因分析》
3. 青山資本《Z世代定義與特征丨青山資本2021年中消費(fèi)報(bào)告》
4. 韓瞳《策略產(chǎn)品經(jīng)理實(shí)踐》機(jī)械工業(yè)出版社

本文由 @白鹿銜書(shū)不銜花 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于 CC0 協(xié)議