起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識為何這些大公司都偏愛A/B測試法？
Elliot Shmukler曾分別在LinkedIn、eBay、Wealthfront和Instacart擔任過產品負責人，他在這些公司一直都在極力倡導和推行A/B測試法，不僅將A/B測試法作為產品開發的方式，同時將它作為一種有效的產品團隊管理工具。他在本文中分享了自己為何將A/B測試法作為產品開發和團隊管理工具，同時列出了使用A/B測試法的益處和挑戰，并分享了如何在公司里運用和快速推廣A/B測試法。不管你是公司的產品負責人還是用戶增長負責人，相信你都能從這篇文章里受益良多。
Elliot Shmukler目前是日用雜貨當日送達服務公司Instacart的產品副總裁，他之前還曾擔任過理財公司Wearlthfront和職場社交平臺LinkedIn的產品負責人。在他截至目前的職業生涯中，他一直都在極力推行和倡導A/B測試法。他不僅將A/B測試法不僅作為產品開發的工具，同時還作為一種有效的團隊管理工具。
在eBay工作的時候，Shmukler第一個嘗試通過使用A/B測試法來改善eBay的搜索體驗，同時還幫助eBay推出了eBay Express這款產品，這應該是eBay當時在產品方面做過的最大膽的嘗試。在LinkedIn的時候，他領導的15人的產品團隊負責LinkedIn網站將近一半的網站流量。在擔任Wealthfront產品副總裁期間，Shmukler不僅帶領團隊將公司管理的客戶理財資產規模從1.5億美元增至超過30億美元，同時還帶領團隊推出了Direct Indexing、單股多元化服務（Single-Stock Diversification Service）和公司的第一款移動App。在Shmukler的整個職業生涯中，他已經熟練掌握了如何讓A/B測試在產品開發和團隊管理中發揮最大效用。
近日，Shmukler接受了First Round Review的專訪，他在專訪中解釋了自己為何將A/B測試法作為自己的管理框架，并用自己的實際案例說明為何A/B測試法不僅能加速決策，同時還能更好地賦予團隊成員做決策的能力。他列出了將A/B測試法作為管理框架的益處和所面臨的挑戰，同時分享了如何在公司里運用和快速推廣A/B測試法。
一、兩種完全不同類型的決策
在任何一種管理框架里，其核心目的都是為了做出更好的決策。Amazon的CEO Jeff Bezos在給股東的年度公開信中曾表示有兩種決策類型：不可逆型決策和可變型決策。Bezos分別對這兩種決策類型進行了描述：
（1）不可逆型決策
有些決策的影響非常重大，而且這些決策是不可逆的或接近不可逆的，這種決策類似單向通道，做出決策后便再也無法更改。所以你必須非常有條理地、謹慎地并在充分協商地基礎上做出這類決策。一旦做出了決策，如果發現結果并不是你想要的，你也無法回去重新決策了。
（2）可變型決策
大部分決策都是可變型和可逆型決策，這類決策類似雙向通道。做出這類決策后，如果你發現結果并不是最理想的，你可以重新打開決策之門，返回去重新決策?？勺冃蜎Q策可以而且應該由那些具備很好判斷力的個人或小組去快速做出。
在公司發展的過程中，有一種傾向是廣泛地將“不可逆型決策”的流程應用到每一項選擇中。在Bezos看來，這么做會導致決策的緩慢和一味的規避風險，從而會妨礙測試和減弱創新。相反，如果公司盲目地對“可變型決策”不加選擇和思考地運用、而忽視“不可逆型決策”的話，Bezos認為大部分公司在發展壯大之前都將消亡。
Shmukler相信，通用的A/B測試法是讓公司使用“可變型決策”方法做大部分決策的理想方法。在傳統意義上，要想使用A/B測試法，至少需要兩個產品版本：A版本是原始版本，B版本是你認為可能比A版本更好的版本。這時，將A/B測試應用到“可變型決策”中時，如果通過A/B測試發現A版本要比B版本好，這時僅需簡單地關閉B版本、再回到A版本即可。A/B測試法甚至還能幫你認識到什么時候需要應用“不可逆型決策”流程，
根據掌舵Amazon的親身經驗，Bezos提醒大家千萬不要陷入“萬能型”決策方法中，即將一種決策方法應用到所有的決策中。Shmukler在早期創業公司中也看到過類似的陷阱，在產品管理中尤其如此?！爱a品經理是他/她所主導的產品的CEO”是一句在業界非常有名的話，這句話在涉及到決策的時候是有它的道理的。產品經理通常會自然而然地將自己管理風格帶到自己的決策方式中。
二、將A/B測試法作為管理框架的真實案例
Shmukler在自己職業生涯的早期曾聯合創辦過Sombasa Media，他后來將這家公司賣給了About.com。他在這段創業經歷中第一次意識到了兩種完全不同的產品管理決策風格的產品經理：遠見直覺型產品經理和數據驅動型產品經理。遠見直覺型產品經理對未來有自己的預測，通常會根據自己的直覺進行決策。數據驅動型產品經理則主要根據測試和分析進行決策。有效的決策框架有很多，但我希望使用一種既有助于做出最佳的產品決策、同時也能鼓勵團隊內部不同產品經理的不同思維方式的決策框架。
對于遠見直覺型產品經理而言，當直覺告訴他們需要開發某個功能或產品的時候，他們就會有強大的驅動力將這項功能或產品開發出來并帶給所有用戶，Shmukler自己也承認，正是基于這個原因，他認識的很多遠見直覺型的產品經理后來都成了公司創始人或CEO。相比較而言，數據驅動型產品經理一般都會系統地不斷完善自己的見解和洞察力，而不會根據自己的直覺任性決策。數據驅動型產品經理往往通過觀察和搜集新數據來支撐自己的立場和觀點，隨著獲得的數據越來越多，他們會不斷完善自己的見解。
因為這兩類產品經理的思維和做事的風格完全不同，作為團隊領導，要想讓持這兩種完成不同產品管理方法的產品經理達成一致是非常困難的。如果你是公司的產品負責人的話，你肯定對下面這樣的對話場景非常熟悉：
遠見直覺型產品經理：“我們需要做X”。
數據驅動型產品經理回應說：“不，X是錯誤的，它是行不通的。我們需要做的是Y”。
Shmukler在自己管理的產品團隊里幾乎每天都會遇到上面這樣的場景。這簡直讓人筋疲力盡的，你很難在看起來不偏向某一方意見的情況下解決這個問題。面對這個問題，Shmukler并沒有選擇自己做裁判并在雙方的不同見解里選中一方的觀點去執行，而是對這兩種觀點都進行測試，最后讓數據成為裁判。咋一看，這個方法似乎偏向數據驅動型產品經理，但它卻能讓雙方的產品經理都去切實推進自己的想法，同時不會讓他們感覺決策是專門針對自己的。
為了說明這種方法的有效性，下面是Shmukler 將A/B測試法運用到產品開發和團隊管理中的真實案例。團隊里幾個遠見直覺型的產品經理想要調整公司的對外宣傳語言，尤其是官網主頁的介紹語言。對于這個提議，團隊里數據驅動型的產品經理表示他們之前曾做過這方面的測試，而測試結果顯示對注冊沒什么影響。
為了解決這種意見相左的問題，必須要有人出面決定是否要部署時間和人力資源進行這方面的測試。這時，不管你的決策是什么，都會有人認為你做了一個糟糕的決策，遠見直覺型產品經理會說你做決策時過于依賴數據，而不基于公司宏大的目標進行決策。數據驅動型產品經理會說在這方面花時間和資源是一種浪費。這時，A/B測試法就能很好地解決這個問題，因為使用A/B測試后你就不用再去做這種兩難的決策了。因為在A/B測試的管理框架下能讓大家形成一個共識：即一個值得信賴的團隊的任何想法都能夠得到測試，測試結果決定是否要繼續踐行這個想法。
每當面對這種情形，Shmukler都會讓所有團隊成員一起協作對他們的想法進行測試并獲得測試結果。遠見直覺型產品經理會負責撰寫新的官網主頁內容，數據驅動型產品經理則負責構建測試流程。整個測試只需1-2天就能完成，然后花一個月時間去搜集數據。所有測試結果都會在數據白板上向公司里的所有人公布。這樣一來，爭執雙方就都滿意了：數據驅動型產品經理能夠根據測試數據進行決策，遠見直覺型產品經理能夠將自己的想法付諸實施。在這個案例中，最后的測試結果表明官網主頁內容對用戶注冊并沒有很大的影響。不過這對那些主張更改官網主頁內容的遠見直覺型產品經理也無所謂，因為知道測試結果后，他們就不會再死死抓住這個想法不放了，從而將精力投入到新的想法里。
A/B測試法還能夠讓Shmukler同時對多個產品想法說Yes，唯一的限制在于所有這些想法都需要被測試。這時“可變型決策”流程就能派上用場了，這能夠避免團隊陷入毫無必要的“不可逆型決策”的困境和陷阱里。更為重要的是，這種方法能夠很好地鼓勵和團結團隊中持不同想法的產品經理，因為每一個人都有機會對自己的想法進行測試。
不管最后哪一方想法勝出，都不會造成產品經理團隊成員之間關系的緊張，因為測試結果來自權威的測試，而不是來自某一個權威的個人。其中的關鍵在于要快速測試，同時確保整個測試流程和結果的透明。下面就分別系統地總結一下A/B測試法的益處和所面臨的挑戰。
益處
（1）充分的自主權
采用A/B測試法，我發現非常有價值的一點在于，團隊里的每個人，不管他是什么頭銜和職位，基本都可以將自己的想法變成現實。作為團隊管理者，我扮演的角色更像是一個仲裁者，而非獨裁者。我只在完善有關未來的設想的時候才會插手。
（2）更低的風險
一旦公司里有用于快速測試的工具，那么測試成本就會低很多，而測試這個行為本身也將降低總體成本。通過測試，我們能更快地知道一個想法是否是糟糕的或是有潛在危害的，這樣我們就不會繼續推進這個想法。如果經過測試證明一個想法是好想法，那么我們便可以毫無顧忌地大膽推進這個想法，并最大程度從中受益。
（3）提高員工參與度和敬業度
這種方法能夠提高團隊產品經理的幸福度，因為他們知道在這樣的團隊里，他們可以將自己的想法快速變成現實，并證明自己的想法是有用的。很多團隊成員都曾告訴我，他們在這個團隊里能夠更快地學習和成長，因為他們可以快速測試自己的想法并從測試結果中學習。
（4）不會改變大家原有的做事風格
A/B測試法這套產品開發和管理框架不僅能夠讓數據驅動型產品經理更加理性地評估自己的想法，也能夠讓遠見直覺型產品經理更快地打磨自己的直覺，因為通過測試他們可以更快地“體驗”自己的直覺想法是否正確。這種方法不會改變大家原有的做事風格。
挑戰
（1）用戶樣本規模
一開始的時候，創業公司通常需要按照遠見型模式去運營。要想讓讓A/B測試系統有效運轉，你首先需要有一定的用戶基礎。如果你想圍繞用戶在使用產品中的某一具體行為進行測試，如注冊、點擊或分享的行為，你一周至少需要有數百位用戶有過這個操作行為才能測試。理想情況下，為了更快獲得測試結果，你往往需要在數千用戶中進行測試，而且同時進行多項測試。當然，那些可以在數百萬用戶里進行測試的公司在A/B測試時有更大的優勢。
（2）公司遺留下來的傳統決策方法
我之前工作過的一家公司根本就不知道A/B測試法，更談不上使用這種方法了。相反，他們要求每一個人對所提出的每個想法可能會造成的結果寫一份詳細的財務和影響分析報告。在我看來，這是扼殺團隊成員想法的罪魁禍首。但現在很多公司依然在采用這種方法。
（3）注重指標文化，而非測試文化
我之前工作過的一家公司，它非常擅長每天監控自己的商業指標，但不做任何的A/B測試或其它小的測試。公司非?？粗啬切└呒壷笜?，然而一旦出現問題，它無法很快確定問題到底出在了什么地方。記得有一次，公司同時發布了7項新功能，所有這些功能都沒有經過A/B測試，后來出現了一個大問題。為了重新對這些功能進行A/B測試并從中找到問題的根源，這使得團隊不得不撤回大部分新功能。
三、如何運用和大規模推廣A/B測試法？
針對將A/B測試法作為產品開發和管理工具這件事，Shmukler在過去多年里聽到很多質疑的聲音。在發展比較成熟的大公司里，人們早已形成了自己獨特的做事風格，你很難僅僅靠A/B測試理論上可能會帶來價值說服他們轉變做事風格并接受A/B測試法。而對于創業公司而言，他們往往會以耗不起這個時間和成本為借口而拒絕A/B測試法。對于我自己而言，我之前曾加入一家創業公司，加入時公司只有20名員工，后來我使用這個方法讓公司規模發展至100多人。
Shmukler同時有過大公司和創業公司的工作經歷，他發現，不管公司規模如何，這套測試框架一點都不會耗費你的時間和成本，因此可以幫你非常順暢地開展測試工作。他是如何做到的呢？
（1）在輕量級A/B測試工具上進行投入
根據Shmukler的經驗，只需要幾個工程師就能開發一個初始工具和數據儀表盤來運行、監控和評估A/B測試。大部分沒有做過這個工作的人會誤認為這個工作所要耗費的資源是他們無法承受的。其實只需不到一個月的工作，創業公司就能讓A/B測試自動化運行。產品經理在不需要做什么工作的情況下就能快速獲得測試結果。
如果你沒有足夠多的工程師人力資源去自己開發A/B測試工具，也沒有關系，因為現在市場上已經有很多可以直接拿來用的測試工具，例如Optimizely。如果你使用Optimizely這款工具的話，你甚至不需要寫任何代碼就能進行A/B測試，所有工作都由Optimizely幫你完成，包括測試、搜集數據和評估數據等。因此，如果你選擇使用一款外部的A/B測試工具的話，你基本上不需要做額外的工作。不過有些這類工具需要付費才能使用，不過一般基礎功能免費，增值功能付費。即使需要付費，這也是非常劃算的一筆投資，因為這樣的工具有助于你做出更好的產品決策，同時還能增強團隊凝聚力。
（2）降低測試的決策障礙
要想讓A/B測試成為公司內的通用做法，就要做到通過一個簡單的決定就能順利推動測試的進行，盡可能降低測試的決策障礙。在確定做一項測試后，整個A/B測試系統便會自行運行和評估。歸根到底，需要打造一個優秀的A/B測試框架。對于工程師而言，需要一個讓運行一項測試變得非常容易的框架，可能僅需幾行代碼就能做一項新的測試。對于團隊里的其他人來說，則需要一個能夠自動評估測試結果的內部儀表盤。
Shmukler建議產品團隊使用那種能夠自動識別新測試項目的儀表盤。他分享了他自己之前曾開發過的這樣的儀表盤：“它能夠讓你針對一項測試選擇一個目標，基于你選擇的目標，儀表盤會自動顯示那些你應該跟蹤的測試指標。然后它會即時讓評估數據，并給出紅色、綠色信號告訴你是采用新測試項目還是維持原狀。如果還沒有搜集足夠多的數據，儀表盤會提醒你需要繼續運行這個測試。你需要的正是這種簡單和自動化儀表盤。
（3）理清不同測試間的相互影響和作用
當年在LinkedIn的時候，我們最后發現了不同測試間的相互作用。舉個例子，對注冊流程和個人資料頁面的測試可能會影響其它的測試結果，而且很難梳理清楚不同測試間的相互作用。這時，可以使用統計方法去提醒儀表盤是否存在有問題的交叉影響，這時你可以在選擇關閉其中的一項測試后再評估剩下的測試結果。
如果你在測試之前就預測到可能會出現這樣的問題，為了避免不同測試間的相互影響，可以考慮使用不同的篩選標準將特定的用戶導入到特定的測試中去。在LinkedIn，Shmukler就和他的團隊采用了非常嚴格的篩選標準來避免不同測試間的相互影響?！霸跒樾聹y試項目選擇測試用戶的時候，我們會從那些沒有參與其它測試的用戶里選取，或是對用戶進行分區，確保一個區的用戶一次只參與一項測試?！?/p>
此外，在需要同時進行多項測試時，其中的復雜度也會大大提升，這就需要讓儀表盤變得更加容易去解讀。最好的儀表盤通常都是最簡單的，只顯示紅色或綠色這種簡單的指示信號。
（4）理解測試對整個產品或公司所產生的廣泛影響
當A/B測試法發揮的作用越來越大的時候，不管是遠見直覺型產品經理還是數據驅動型產品經理都會越來越信任A/B測試。大部分A/B測試都能夠告訴你一項測試是好是壞。下一步工作就是開發一個能夠顯示一項測試對整個產品或公司的關鍵指標造成的影響的儀表盤。例如，你可能通過優化注冊流程的個步驟，并將那個步驟的操作完成率提高10%，但這并不意味著你的整體注冊量提高了10%。
因此你需要加強測試軟件的能力，讓它能夠解讀測試對整個產品或公司所產生的宏觀影響，這應該作為每一個產品團隊的A/B測試路線圖。此外，它還能幫你在選擇測試時將它可能對整個公司的影響都考慮進來，從而更明智地選擇要測試的項目。一項測試是能將整個產品改善10%還是僅僅能將產品的某一個部分改善10%，了解這一點很重要。
結語
A/B測試不僅在完善產品開發中有重大價值，它還有助于打造一個更加卓越的產品團隊。A/B測試法不僅能夠化解不同類型產品經理之間的緊張關系，同時還能夠賦予團隊成員更大的自主權，讓他們保留自己原有的做事風格，而且能夠提高他們參與度和幸福感。盡管A/B測試法也會面臨諸如測試樣本規模、傳統的決策方法和不注重測試文化等方面的挑戰，不過在輕量級的A/B測試工具上進行投入依然是你最好的選擇。隨著公司規模的擴大和測試項目的增多，測試軟件也需要與時俱進，確保測試軟件和儀表盤的簡潔，這樣所有員工都能準確了解測試進程和結果。
A/B測試法不僅有助于更快地完善產品，它還有助于打造一個更加緊密團結的團隊，要想走得快，就一個人走，要想走得遠，就結伴同行。將A/B測試法作為管理工具向公司里的兩種不同類型的產品經理都傳遞了這樣一個明確信號：明智的測試想法總能脫穎而出，不管這個想法是誰想出來的。
譯者：達達
來源：36氪
版權：人人都是產品經理遵循行業規范，任何轉載的稿件都會明確標注作者和來源，若標注有誤，請聯系主編QQ：419297645
皮毛而已
我想知道A/B測試法如何操作，比方說文中的例子說要更換宣傳語，這個怎么用A/B測試