關于A/B Test的外傳

0 評論 4172 瀏覽 4 收藏 7 分鐘

A/B測試的作用大家都知道,就不多說了,在這里寫寫我在平時工作中應用心得。

在我的業務線平時應用A/B的場景:A大多是已經在線的一個產品,而B是一個我們將要上線的另一版本的產品(有可能是改進也有可能是推倒重來的),因為直接通過B去替換A可能用戶一下子接收不了,所以我們會切部分用戶出來用B版本,上線一段時間后,收集用戶的反饋,再去調整,逐步去替換使用A的用戶,這樣做能讓用戶更平滑的接收。別小看這個過程,其實有很多策略可講究了。說說我的真實經歷。

之前做【AE賣家后臺首頁改版】的時候有兩種方案做A/B測試,第一種:直接切20%的流量體驗新版后臺(根據帳號數隨機切20%的用戶登錄就跳轉到新版),不提供【返回舊版】入口,另一種切50%的流量讓用戶體驗新版后臺,但是要提供【返回舊版】的入口。

第一種方案相對比較保守或者說慎重,因為用戶不能回到原來熟悉的頁面中去使用,特別是在后臺(執行任務為主)一旦用戶有比較緊急和重要的任務要做(比如編輯產品、發貨、回復詢盤),會非常影響他的效率,從而直接帶來一些不理性的反饋。好處:如果產品的改版是方向性的(就是商業決策上一定要這樣去改了),那通過這種方案一步步切流量,整個過程還需要和用戶溝通解釋,就能有個較平滑的過渡,比如網站首頁的改版、SKU項目。

第二種方案就比較開放,因為用戶有【返回舊版】的入口,用的不爽可以回去,而且被測試的用戶基數較大,這樣得到的反饋相對來說更有定量的價值,容易發現同類度比較多的問題,相對來說反饋內容也比較理性充實,我在群里、網上、上門跟用戶聊的時候他們大多都說出對于不爽的很多細節。

當然這兩種方案都基于一個很重要的前提,改版前做好功課:解決的問題和用戶期望匹配度要高,準,而且第二種尤其。寫到這里大家應該能看出我最終選擇了哪種方案做了【AE賣家后臺首頁改版】。

對了,第二種方案還能給我們一個很重要的結果指標,就是用戶在A/B版本的存留人數,再來看個當時【AE賣家后臺首頁改版】review數據圖。

此次使用A/Btest的進行測試,新舊版各50%的用戶,在新舊版頭部布有切換按鈕,用戶在下次登錄ME時會自動進入上次退出地的ME版本中。

總的來說新版上線后,用戶隨著一個時間段的體驗和適應,新舊版的的存留上是五五開。

新版由于鏈接數上有所簡化,所以PV對比上會略低,而新版Session在近一周有所超越舊版的跡象。

通過存留比能很好的反映用戶最終的接受度,同時也是作為判斷產品是達到足夠替換舊版的一個重要指標之一。

這里再提一下對于改版類的A/B測試還有一大利器就是熱點分布圖,基本能很直觀的表現出用戶的焦點功能能否在一屏內看到,操作到,盡量少的需要滾動。

當然每個產品情況不同不一定是看類似的指標數據,但在做A/B前梳理清楚上線后通過哪些數據來衡量是非常重要的,衡量哪些指標,我們UED也最好能主動和PD一起去討論,畢竟有些指標數據能指導、影響我們的方案和看問題視角。

當然A/B測試還有很多種用法和分步實施方案,測試出的結果也會有很多有意思的解讀,項目做的多了,思考的多,遇到的問題多了,都能感受的到,以上只是舉了個簡單的例子。

A/B測試和PD

寫到這個標題,是我想到了很多時候UED在PD溝通方案出現分歧時,最終會提出做A/B測試,這本身沒錯。但我在和PD們聊過這個問題時,他們有時候會有一種較負面的感覺:這么小的一個需求還要做A/B哪有資源和時間,感覺這成了阻礙他們項目進度的一個絆腳石??赡芪覀冎皇窍胱C明自己更對,并沒有那種意思,但如果對方有了這種感受其實很不利于以后的合作的。

我的一點點看法就是,如果項目是很重要和關鍵的改動,我們盡早提出該項目需要做A/B測試(PD也會比較慎重的,最好你還能提出如何去做A/B測試的建議方案更nice),規劃到項目整體資源中去,而不是在項目KICKOFF后,大家都完成了評估開始執行了再來提。如果是些小改動影響不大,方案一直糾結不下,哪我建議我們大度點讓讓TA們吧,最后真的他們錯了,補救的成本也不會太高的。這點是我們需要注意下的。

以上只是個人心得,雖不能適用大家的工作場景,但舉一反三,希望帶給大家一點點思考,就算沒浪費大家讀到這里了。

來源:aliued

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!