如何分析A/B實驗結果

0 評論 4587 瀏覽 25 收藏 35 分鐘

互聯網行業中,數據驅動的決策模式已成為主流。但在實際操作中,如何確保數據的有效性及其對增長的直接影響呢?本文將通過一個系統化的步驟框架,指導如何通過A/B測試精確地驅動業務增長。

01 分析和應用實驗結果的重要性

分析和應用實驗結果是增長實驗流程中的最后一步,但卻是至關重要的環節。

這一步驟直接決定了整個增長實驗是否成功,以及能否為業務增長帶來真正的價值。

分析和應用實驗結果的主要目的有三個方面:

第一,給出一個系統性的框架來分析實驗結果,確保分析過程的嚴謹性和全面性;

第二,得出可信的結論,判斷實驗是否成功以及成敗的原因;

第三,最大化實驗的影響,將成功實驗的洞察應用到產品優化的方方面面。

只有做到這三點,才能真正發揮增長實驗的價值,推動業務的快速增長。

02 評估結果可信性

評估結果可信性是分析和應用實驗結果的第一步,在對實驗結果進行分析之前,我們必須先評估結果的可信性。

這是整個分析過程的基礎,如果實驗結果本身就存在問題,缺乏可信性,那么無論后續如何分析都可能得出錯誤的結論,從而影響決策的正確性。

因此評估可信性是分析和應用實驗結果的第一步,也是極其重要的一步。

1. 評估方式

評估結果可信性的核心標準是統計顯著性。

所謂統計顯著,就是指實驗組和對照組的差異是由實際因素導致的,而不是由于隨機誤差等偶然因素導致的。

只有達到統計顯著的結果,才能被認為是可信的,才能作為下一步分析的依據。

否則,我們就有可能對偶然現象做出過度解讀,得出錯誤結論。

上一篇文章已經詳細闡述如何計算統計顯著性,本文就不再贅述了。

2. 評估結果可信性的常見坑

在評估結果可信性的過程中,我們需要避免一些常見的誤區和陷阱,否則可能會對實驗結論產生偏差。

(1) 實驗跑的時間不夠長,導致結果出問題

a. 實驗剛上線就分析早期指標,過早下結論

一個常見的坑就是實驗剛剛開始沒多久,我們就迫不及待地去看那些早期指標數據。

由于實驗初期樣本量還很小,數據的波動性會非常大,很容易產生誤導。如果這時候掉以輕心,就可能會對階段性的優勢或劣勢做出錯誤判斷。

因此我們一定要忍住,等到數據累積到一定程度,結果相對穩定了再下定論。

b. 實驗結束過早,只包含高頻用戶,沒收集足夠樣本

另一個坑是實驗停得太早。有些實驗可能在達到統計顯著后就被急忙叫停了,但由于時間還不夠長,覆蓋的用戶還不夠全面,導致只有一些高頻用戶的數據被納入實驗,缺少了中低頻用戶的反饋。

這樣的結果是片面的,無法代表整體用戶的真實反應。這一點在一些長周期的決策指標上尤為重要,比如月留存率等。舉兩個例子:

第一個例子是 Airbnb 的搜索價格過濾器的測試,把搜索頁上的價格過濾器上限從 300 美金調大到了 1000 美金,想知道這樣的變化是不是能讓預定數增加?

實驗流量非常大,7天之后發現新版本提升顯著,但是繼續運行 30 天后卻發現最終和對照組差別不大。

這在統計學上其實有一個名稱叫做新奇效應,也叫做均值回歸。

在增長實驗的早期,很多時候用戶會因為新奇去關注新的改動,但是過一段時間可能就消失了。

這也提示我們在進行增長實驗的時候,千萬不要用最早期的指標來下結論,而是要耐心的讓它跑夠時間,達到統計顯著,甚至再多跑一段時間,幫助我們能夠最終確認實驗的結果。

第二個例子是某健身APP,它對課程選擇頁面進行了 AB 測試。

這個健身 APP 有三類用戶,高頻率的用戶是每天都來,大概占30%;

中頻率的用戶是每周至少來一次,大概占50%;

低頻率的用戶大概每兩周來至少一次,占整個用戶的20%;

由于這個產品的用戶量也很大,僅僅跑了3天,這個實驗結果就達到了統計顯著,就得出結論說新版本更好。

但是真的是這樣嗎?大家可以想象一下,如果實驗只跑了 3 天的話:

首先,在實驗里包含的絕大部分是高頻用戶,大部分的中頻用戶和低頻用戶可能還沒有進入實驗。

其次,沒有考慮到周中和周末這個可能對用戶行為產生影響的因素,所以這個實驗犯的錯誤就是以偏概全。

所以我們在進行 AB 測試增長實驗的時候,要仔細地衡量跑實驗的時間,盡量讓所有的用戶都有機會能夠進入到這個實驗里,而不僅僅是根據一小部分用戶的行為得出結論。

(2) 實驗設置不合理,導致結果不可信

a.中途更改實驗設置

有時候實驗跑到一半,我們會心癢癢,想要修改一些實驗設置,比如調整流量分配比例等。

但這樣做會導致前后數據缺乏一致性和連貫性,從而失去了可比性。

所以一旦實驗開始,任何設置就都不應該再修改了。

同樣舉一個例子,微軟的員工在做實驗的時候就犯過一個錯誤:

周五的時候他們給測試中的一個版本分配了 1% 的流量,周六的時候又把流量增加到了50%,雖然在周五和周六這兩天單獨來看,新版本的轉化率都比原版本高,但是當數據被匯總的時候,新版本的轉化率反而變低了。

所以如果微軟的工作人員按照這個結果來作出結論的話,就會做出一個錯誤的結論。

這在統計學上也有一個名詞叫做辛普森悖論——某個條件下的兩組數據分別討論的時候是一個結果,但是合起來的時候卻發生了相反的結論。

因此大家在做增長實驗 AB 測試的時候,開始實驗之后不要去更改實驗的設置,流量的分配,否則就可能對實驗結果產生影響。

b. 同時跑多個實驗,互相干擾

如果同一時間在同一流程中同時進行多個實驗,就可能出現交叉污染,不同實驗相互影響。

比如同時在注冊流程的不同步驟各做一個實驗,就可能導致用戶分流出現問題。

因此在實驗的規劃和執行中,要合理安排實驗時間和頁面,避免各個實驗”打架”。

c. 實驗版本與設計不同

有時候我們會發現,開發上線的實驗版本與產品設計稿存在出入,或者開發自作主張修改了一些設計,這就會導致實驗結果出現偏差。

因此除了前期要做好設計評審,在實驗開發過程中也要及時復核,確保嚴格按照設計方案執行。

(3) 無法有效分析結果或得出錯誤結論

a. 實驗設計不完善,沒設置好指標或只關注單一指標

實驗設計階段考慮得不全面,沒有設置好評估指標體系,或者只盯著某一個單一指標,就可能導致我們對實驗的整體效果評估不準,得出片面的結論。

因此前期一定要認真設計指標,確保關鍵指標和輔助指標全面覆蓋。

b. 人為因素干擾實驗,如大促銷等

有時候我們會在一些特殊時間段進行實驗,比如電商大促期間測試優化注冊流程。

但節假日大促會給實驗數據帶來極大的偶然性,用戶行為與平時相比會出現很大波動。

因此我們要盡量避開這些特殊時段,選擇相對穩定的時間區間來做實驗,這樣得出的結論才更有說服力。

c. 做實驗的人員有偏好,選擇性看結果

我們每個人或多或少都會帶有主觀偏好。在分析數據的時候,難免會更多地關注那些支持自己觀點的數據,而忽視那些相悖的數據。

這種有意無意的選擇性偏差,可能會扭曲我們對數據的客觀判斷,使得分析結果失真。

因此我們在做實驗分析時,一定要秉持客觀中立的原則,用開放的心態看待每一個細節,不預設立場。

03 分析實驗結果

1. 分析實驗結果概述

在確認了實驗結果具有統計顯著性,可以作為有效數據之后,我們就進入到了分析實驗結果的環節。

分析實驗結果是整個實驗分析與應用流程中的第二步,它為最終的決策應用奠定了直接基礎。

這一步的主要任務,就是要搞清楚實驗最后是成功了還是失敗了,如果失敗了,原因出在哪里。

只有解決了這兩個問題,我們才能為后續的實驗迭代或者產品化決策提供有價值的依據。

2. 主要回答實驗是否成功,若失敗原因何在

判斷實驗是否成功,是分析環節的首要任務。

如果實驗組表現出了顯著的正向優勢,達到了我們預期的效果,那么就可以初步判定實驗是成功的。

如果沒有達到預期,或者出現了負面影響,那么我們就要判定實驗是失敗的。

對于失敗的實驗,我們還要進一步分析原因。是對用戶行為的預判出現了偏差?是實驗素材或者體驗存在問題?還是實驗效果只在某些特定人群中顯現,而總體效果被稀釋了?

只有找出癥結所在,才能為失敗的實驗”把脈問診”,指導后續的優化方向。

增長實驗的核心在于通過數據驗證假設,實現產品的優化和業務的增長。

3. 要全面衡量三類實驗指標

(1) 核心指標:最關鍵,看是否按預期提升

要客觀評估一個實驗的效果,僅看某一個指標是不夠的,我們要建立起一套全面的指標評估體系。其中最關鍵的是核心指標,它直接反映了本次實驗的主要目標。

如果核心指標出現了顯著提升,達到了我們的預期,那么就說明實驗是有效的。如果沒有變化,或者出現了下降,那么就說明實驗是失敗的,我們需要反思優化思路是否有問題。

(2) 輔助指標:看變化是否符合預期,與核心指標趨勢是否一致

除了核心指標,我們還需要觀察一些輔助指標的變化情況。這些指標雖然不是直接的優化目標,但它們能夠幫助我們更好地解釋核心指標的變化原因。

比如我們在做一個提升直播間購買轉化率的實驗,核心指標是”購買轉化率”,而”直播間平均停留時長”就可以作為一個輔助指標。

如果我們發現實驗組的購買轉化率提升了,同時平均停留時長也有所增加,那就說明我們的優化措施提升了用戶的觀看興趣和參與度,從而間接帶動了購買的發生。

但如果停留時長不升反降,購買轉化率卻上漲了,這就有悖常理,我們就要重點排查數據異常的原因。

所以通過觀察輔助指標與核心指標的一致性,可以幫助我們完善對實驗機理的洞察。

(3) 反向指標:看是否有明顯負面影響,影響是否可接受

任何一項優化,都可能帶來一些負面影響。提升購買轉化率的同時,可能會帶來客單價的下降;改進了推薦算法,可能會導致用戶刷屏時間變長。

因此我們在實驗分析時,除了看正向指標,也要觀測反向指標。通過反向指標的量化分析,我們可以直觀地評估實驗的負面效應。

如果發現負面影響顯著且超出了預期,那就需要謹慎考慮實驗是否值得繼續。但有時為了核心指標的提升,一些可控范圍內的負面影響,也是可以接受和容忍的。

關鍵是要對不同指標進行權衡,協調兼顧,避免顧此失彼。

4. 可考慮短期和長期兩種觀測周期

(1) 短期觀測:實驗達到統計顯著即可得出結論

大多數情況下,當一個實驗達到了預設的統計顯著性要求,并且積累了足夠的樣本量后,我們就可以得出可靠的結論了。

這適用于那些優化效果比較直接、立竿見影的實驗項目。比如一個Banner的文案優化實驗,當各組的點擊量達到顯著性差異時,我們就可以判定優勝版本了。

這種短期即可見效的指標,通常觀察周期在1-2周左右。

(2) 長期觀測:實驗停止后還需觀察一段時間,監測對重要指標的影響

但對于一些重點優化項目,尤其是涉及到產品核心體驗、影響用戶長期價值的項目,我們在實驗期結束后,還需要對其進行長期的跟蹤監測。

比如優化App的啟動速度,短期內各項指標表現都不錯。但我們還需要持續觀察一段時間,看看用戶的次日留存、周留存等長期指標是否真的因為啟動速度的提升而獲得了改善。

又比如上線了一個新功能,短期數據顯示活躍有所提升。但還要觀察一段時間,看看提升是否只是新鮮感導致的曇花一現,還是真的激發了用戶的內在需求。

像Pinterest 這樣一個圖片流的網站,它在進行新用戶激活實驗的時候,至少都要等 28 天的時間觀察用戶的次月留存率,才會最終做出結論。

這就是長期觀測的重要性。它能幫我們洞察優化效果的”延遲性”影響,全面評估價值。

5. 實驗結果有四種狀態

(1) 指標大幅提升+統計顯著:實驗組獲勝,改進方向正確

這是最理想的一種實驗結果。它表明我們的優化思路是正確的,實驗版本的體驗明顯好于對照組,能夠顯著提升關鍵指標。

當出現這種結果時,我們就要果斷地采納實驗版本,并思考如何進一步放大它的效果。

(2) 指標小幅提升+統計顯著:實驗組獲勝,但提升空間不大

這種結果表明我們的優化思路雖然是對的,但提升幅度有限。各種原因都可能導致這一點,比如優化空間本身就不大,或者投入產出比不夠好等。

在這種情況下,我們要權衡實驗方案的優先級。如果還有其他潛力更大的優化方向,我們可能就要先去做那些”大頭”,而把這個實驗方案暫時擱置。

當然,積小勝為大勝,日拱一卒也能成就千里長城。關鍵要把握投入產出的平衡。

(3) 指標下降+統計顯著:對照組獲勝,改進方向錯誤

如果實驗組不僅沒有帶來正向提升,還出現了顯著下降,說明我們的優化思路可能存在問題,改進的方向可能是錯誤的。

這時一定不要灰心,因為每一次失敗都代表了一個排除項。要客觀地分析,究竟是需求假設有誤,還是體驗實現不到位,然后總結教訓,調整優化方向。

相比那些毫無波瀾的實驗,有明顯負向作用的實驗其實更有價值,它們能給我們更多啟發。

(4) 無統計顯著差異:對照組獲勝,改動的元素可能是無關緊要的

還有一種常見的實驗結果,就是實驗組和對照組之間沒有統計顯著的差異。兩組數據太過接近,沒有明顯的差異性。

這通常表明,此次改動的細節可能是一些無關痛癢的點,并不足以對用戶體驗或者行為產生實質影響。

基于這個認知,后續設計優化方案時,就要把精力聚焦在那些真正的關鍵點和痛點上,去做一些動作更大、影響更深的改進,而非在細枝末節上糾纏。

6. 分析實驗失敗的原因

(1) 細分漏斗,找出與假設不一致的環節

實驗失敗并不可怕,可怕的是不去分析失敗的原因。

例如某APP對注冊流程進行了 A/B 測試,結果發現對照組轉化率是27%,實驗組是23%,以為舊版本獲勝。

但運營人員進一步的分析,按照平臺進行拆解,發現在移動端是對照組的表現更好,而在桌面端其實是實驗組的表現更好,所以在不同的平臺上,實驗結果是不一致的。

針對這一洞察,運營人員就在想是不是實驗組的設計對于移動端不夠友好?

細查之后就發現實驗組的頁面太長了,導致在手機上,最主要的這個按鈕下一步被推到了第二屏,用戶需要滑動才能夠看到。

解決此問題后繼續進行實驗,結果實驗組的轉化率有了大幅度的提升,在各個平臺上都比對照組的表現更好。

(2) 對實驗結果分群,看不同用戶群體表現是否一致

除了漏斗縱向拆解,我們還可以進行用戶橫向劃分。用戶并非鐵板一塊,不同屬性的用戶群體,對同一個改動的反應可能大不一樣。

比如嘗試了一個大幅簡化購物流程的優化,但整體轉化率并沒有提升。這時我們可以用RFM模型把用戶分層,看看不同價值層級的用戶表現如何。

可能會發現,盡管總體指標沒變化,但新用戶的轉化率提升了,而老用戶的轉化率卻下降了。

這就提示我們,簡化購物流程可能更有利于新用戶的引導和教育,但可能影響了老用戶的購物效率。

(3) 直接與用戶做定性訪談,觀察反饋

除了定量分析,定性反饋也必不可少。尤其是對于一些偏重體驗和感受的改動,我們很難通過數據完全說明問題。這時候,與用戶直接對話就很重要了。

通過訪談或者問卷,我們可以直接聽取用戶對新舊兩個版本的主觀感受。他們的困惑、不適和抱怨,往往能帶給我們意想不到的啟發。

(4) 通過后續實驗驗證新的假設

實驗失敗,往往意味著我們原有的優化假設可能有問題,但同時也可能激發我們產生一個新的想法。這時候,最科學的做法就是用實驗的方法,去嚴謹地驗證我們的新假設。

例如某電商網站,依靠賣某種商品作為主要的營收來源,而這個商品在網站上品類的入口本來是放在右上角,運營人員下把它改到左上角,因為覺得這樣更醒目,但是沒想到做了這個變化之后,這個商品的點擊率下降了非常的多。

同樣它通過新老用戶分解發現其實問題都出在老用戶身上,因為老用戶習慣了原來的位置,找不到了之后就沒法點擊了,所以他進行了后續的實驗,提前給老用戶通知,然后引導他們去點擊這個新的位置,結果在新的版本里面,老用戶的這個商品的點擊率也上升了。

實驗是一個探索的過程,每多迭代一次,我們對真相的認知就更進一步。

04 決定實驗下一步

1. 決定實驗下一步是流程的第三步

當我們分析完實驗數據,得出了實驗成敗的結論,并找到了背后的原因后,就要基于這些洞見來決定實驗的下一步走向了。

這是我們實驗分析與應用流程中的第三步,直接關系到價值的最終變現,意義重大。

2. 主要回答是否產品化應用、是否放棄實驗、是否繼續迭代優化

實驗后的決策無非三種走向:

如果實驗非常成功,就要考慮盡快把優化方案應用到全部產品中,擴大價值;

如果實驗失敗,可以直接放棄這個優化想法,把資源投入到其他項目中;

如果實驗結果不盡如人意,但我們又有了新的優化思路,那就需要進一步細化假設,繼續實驗迭代。

選擇哪一種方向,取決于實驗的效果、投入產出比、優先級排序等多重因素。

3. 實驗完成后的下一步選擇

(1) 實驗成功,產品化應用并最大化影響

一個成功的實驗項目,下一步就是要推廣應用,把效果擴大化。但我們不能簡單地就直接全量上線新方案,而是要通過小規模滾動發布逐步產品化。

成熟的產品迭代流程中,都有一個灰度發布的環節。我們先在5%的流量上做小規模測試,沒問題后擴大到10%、20%,最后再逐步擴大到全部用戶。這個過程就是產品化應用的”小步快跑”策略。它可以幫助我們及早發現問題,及時止損。

(2) 實驗失敗,選擇放棄并清理實驗代碼

對于一個失敗的實驗,果斷放棄是一種智慧。一個早早失敗的項目,能夠幫助我們及時止損,把資源釋放出來做更有價值的事情。

但在放棄實驗時,我們也要注意做好實驗現場的”清理”工作。實驗的相關代碼分支、配置項等,都要及時歸檔或刪除,避免沉淀下來成為歷史包袱。

同時,我們還要把實驗的得失總結記錄下來,供后人借鑒。

(3) 實驗結果不理想但有新想法,選擇繼續迭代優化

有時實驗的結果不盡如人意,短期指標沒能達成預期,但我們從失敗中獲得了新的洞察,激發了更多靈感。

這時我們大可不必輕言放棄,而是要集中團隊的智慧,頭腦風暴,積極尋求新的突破口。

也許,看似失敗的嘗試,最后醞釀成了一個非常成功的優化方案。”失之東隅,收之桑榆”,這就是持續實驗迭代的意義所在。

4. 放大成功實驗的影響的三種方式

(1) 乘勝追擊:針對該點做更多實驗,進一步提升指標

一鼓作氣,再而衰,三而竭。當我們在某個優化點取得突破后,就要趁熱打鐵,在這個方向上做更多文章。

比如我們發現,在商品詳情頁增加一個價格對比模塊,可以顯著提升下單轉化。那接下來我們就可以細化這個對比的內容和形式,去測試不同的競品選取方式、不同的頁面布局等,看看還有沒有進一步提升的可能。

集中資源,快速迭代,把價值潛力全部榨取出來。

(2) 舉一反三:把洞察用到產品其他地方

任何一次實驗,其價值都不應局限于當下的某個場景。一個實驗的背后,往往蘊藏著對人性和用戶行為的更廣泛洞察。

比如前面提到的商品詳情頁價格對比,我們從中得到的啟示是,用戶在購買決策時,其實非常在意”貨比三家”,希望看到更多參照。

那這個認知,其實可以被應用到其他的場景中,來指導更多的優化。比如在分類列表頁,是不是也可以提供同類產品的價格區間作為對比?在訂單結算頁,是不是也可以給出”月銷量Top10商品”的價格作為參考?

好的洞察,用到哪里都不嫌多。把洞察和心得用到產品渠道的其他地方,就是舉一反三了。

(3) 調整實驗方向:根據結果重排其他實驗優先級

基于實驗結果,我們要反思自己的實驗計劃和假設。也許,一些之前并沒有排在最優先的實驗構想,現在看來是大有可為的。那我們就要及時調整實驗的優先級隊列,讓資源向最有希望的方向傾斜。

比如我們原本計劃先做一個界面美化的項目,但最新的實驗數據告訴我們,用戶最關注的其實是商品的品類豐富度。那我們應該改變策略,先把主要精力投入到豐富商品庫存上來。

05 做好實驗結果記錄

1. 將實驗結果、心得、后續計劃都記錄在實驗報告中

一個完整的實驗報告,不僅要呈現實驗的結果數據,還要包含實驗心得和后續計劃。實驗數據是客觀的事實,但解讀數據需要主觀的智慧。

將我們對數據的洞察、對成敗原因的思考都記錄下來,能夠讓實驗報告更具價值。

同時,每一個實驗都應該是一個起點而非終點。我們要基于實驗的結論,規劃后續的迭代計劃或者決策建議,把價值落到實處。

2. 好的實驗記錄習慣對后續實驗有指導意義,避免重復測試

養成好的實驗記錄習慣,能讓我們的實驗經驗得以傳承和復用。一個團隊做的實驗越多,積累的報告和數據也就越豐富。

每做一個新實驗前,都能先回顧以往的相關實驗,借鑒前人的經驗教訓,就可以避免走很多彎路。尤其是團隊新人更迭時,詳實的歷史實驗報告可以幫助新人快速上手,也避免了重復測試浪費資源。

3. 積累的實驗報告可作為新人培訓工具

實驗報告不僅是一份”死”的文檔,更是一份”活”的教材。它記錄了一個產品、一個團隊在不同階段的優化思路和實踐案例,是產品優化智慧的結晶。

通過組織新人學習這些案例,我們可以幫助他們快速建立起產品優化的思維模型,理解實驗的基本邏輯。

同時,歷史上那些經典的實驗項目,也可以成為內部分享交流的素材,幫助團隊成員互相啟發,集思廣益。

06 總結

1. 增長實驗的五個流程步驟

(1) 產生實驗想法

找到優化點,提出假設,是一切實驗的起點。好的想法可以來自用戶反饋、行業對標、數據分析等各個渠道。關鍵是要建立”實驗思維”,時刻保持敏感和好奇。

(2) 實驗設計

將所有實驗想法,根據 ICE模型進行排列優先級,確定先做哪個實驗之后,就要把它”翻譯”成一個嚴謹的實驗方案。確定對照組和實驗組的選擇邏輯、指標體系的設計、實驗周期和流量規模的選取等,都需要專業的實驗設計能力。

(3) 完成實驗PRD文檔

實驗設計拍板后,就要形成一份標準的實驗需求文檔(PRD)。這份PRD要讓研發同學清晰地知道,應該給哪些用戶顯示什么樣的內容,后端埋點要如何上報數據等。同時也要為實驗上線后的數據解讀提供依據。

(4) 實驗上線積累數據

萬事俱備,就等實驗的”首飛”了。在實驗上線后,我們要密切關注實驗系統和數據反饋,確保實驗流量和數據監測正常。

然后就是靜待數據積累到一定量級,滿足我們下一步分析的需要。

(5) 分析和應用實驗結果

數據揭開了實驗的”答案”,但也提出了新的”問題”。我們要客觀地分析實驗效果,洞察數據背后的原因。

更要思考如何把實驗的價值最大化,去指導產品決策、營銷策略乃至公司戰略。

2. 增長實驗是件困難的事,成功并不容易

尋求增長,本就是一條充滿荊棘的道路。九曲回腸,百轉千回。每一個實驗,都凝結了產品和運營同學的智慧與心血。

但我們必須正視,絕大多數實驗的結果,其實都不如人意。有數據顯示,超過70%的AB實驗,其實驗組并沒有取得優于對照組的效果。優秀的實驗設計者,一年能做出兩三個有價值的優化,就已經是業內翹楚了。

最后,實驗思維告訴我們,世界上本沒有失敗,只有迭代。每一次實驗,不管結果如何,都應該被視為一次學習的機會。

即便是一次失敗的嘗試,也往往能引發我們進一步探索的興趣,讓我們對產品、對用戶有了全新的認知。

正如LinkedIn的創始人雷德?霍夫曼所說:”要么成功,要么學習”。實驗不是為了驗證我們是對的,而是為了發現真相。

本文由 @小黑哥 原創發布于人人都是產品經理,未經許可,禁止轉載

題圖來自 Unsplash,基于 CC0 協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!