如何運用 A/B 測試突破業務增長瓶頸?

4 評論 6648 瀏覽 70 收藏 11 分鐘

文章介紹了A/B 測試在產品改版過程中的落地過程,希望對你有所啟發。

獲客拉新在產品發展的中早期一直是市場和運營日常工作中非常重要的工作之一,活動落地頁的設計對于一款互聯網產品來說,重要性不言而喻,但落地頁如何設計和改版,不是仿照其他產品的樣式那樣簡單,由于每一個產品所處的行業、營銷活動目的、公司資源各不相同,所以也就沒有一成不變的策略,我們需要分析活動表象下面的數據,通過數據來思考我們下次行動的方向。

最近我們產品官網做了一次大改版,線索轉化率較之前提升2%,Demo 內任意事件操作轉化率提升1.3%(登錄 Demo 使用產品是我們產品核心功能之一,只有新用戶注冊后登錄 Demo 體驗了產品,才能讓用戶真正體驗到我們產品的價值,即新用戶過來后我們一定要讓他們體驗到產品的真正價值,這樣后續才能持續轉化)。

一、為什么要做改版?

線索增長率趨于平緩,穩中有降,業務增長進入瓶頸,觀察用戶行為數據發現了一些有趣的現象,也是我們現有版本的問題:

  • 從新用戶來源的關鍵詞來看,用戶更關心用戶行為分析、數據分析平臺、網站數據分析等
  • 從用戶點擊圖來看,用戶更想進入 Demo 頁一探究竟,間接說明從落地頁未獲得自己想要的信息
  • 從用戶行為來看,用戶在注冊申請賬號體驗 Demo 時遇到了阻礙,有大量用戶流失
  • 從用戶路徑來看,用戶注冊成功后有一部分用戶找不到登錄入口,也就不能體驗產品核心價值功能

二、改版的目標是什么?

  • 新用戶來到落地頁后,能夠很方便的獲取足夠的信息,有申請賬號試用的沖動
  • 每個 Demo 的文案描述,直切用戶需求痛點
  • 梳理注冊賬號體系,優化泄漏點,提升注冊轉化率
  • 注冊成功后新手引導流程,可快速找到 Demo 登錄入口,減少反復和流失

三、A/B測試落地過程

設計用戶分流規則

將用戶訪問的匿名 ID 按照100取余,余數在0-49之間的用戶訪問 A 版本,余數在50-99之間的用戶訪問B版本,這樣能確保分流過程足夠隨機。B 版本為新版本,A版本為舊版本。

數據追蹤埋點

無追蹤就不能復盤分析,所以需要對產品埋好點,為所有埋點數據增加一個屬性參數比如app_version,用于追蹤不同版本的表現。

梳理賬號體系

將核心關鍵步驟每一步驟都埋好點,便于分析轉化和流失點。

四、效果評估

最終確定的A、B兩個版本對比圖(限于篇幅只截了頭圖)

不同版本的宏觀表現:跳出率、平均停留時長、平均訪問深度

顯然B版本的跳出率要低于 A 版本的跳出率,說明用戶對 B 版本的第一印象不錯。但是 B 版本的平均停留時長和平均訪問深度略低于 A 版本,那 B 版本到底表現是好還是不好?關于這個問題,對不同產品而言,有的產品并不是平均停留時長和平均訪問深度越高就越好的,如果他在較短的時間內和瀏覽了較少的頁面就去注冊了,恰恰說明他在短時間內快速獲得了自己所需要的信息,并急于申請試用。

不同版本的目標實現:線索轉化率和 Demo 登錄轉化率

關于線索轉化率的衡量可謂是一波三折,有驚有喜。

第一波,線索轉化率和 Demo 登錄轉化率 B 版本均高于 A 版本。

從瀏覽首頁到點擊申請試用按鈕的轉化率提升了2%,成功申請后到登錄 Demo 體驗 Demo 的轉化率提升了1.3%,皆大歡喜!

一個星期后,戲劇性的事情翻轉了…

第二波,Demo 登錄轉化率 B 版本低于 A 版本11%

任何事情還真不能高興的太早,一個星期后,老板問,B 版本的表現居然低于A版本11個百分點,你們看看這到底怎么回事?所有參與新官網設計的人都很焦慮,難道辛辛苦苦設計的新版本比老版本差這么多?

開始追本溯源,注冊轉化率 B 版本高于 A 版本,但是 Demo 登錄轉化率反降低了,所以問題出在從瀏覽體驗 Demo 頁到 demo 登錄頁這個部分。

于是又測試了一遍從注冊到登錄 Demo 的流程:

發現從新官網完成注冊之后,跳轉到 Demo 體驗頁面居然是舊官網的體驗 Demo 頁面,會給用戶帶來錯覺,這還是我最開始訪問的那個網站嗎?最后緊急替換成新的體驗 Demo 頁面。

第三波,從瀏覽 Demo 頁到 Demo 登錄轉化率提升后,1個多星期后再次下降了

這次數據的下降,其實老板并沒有發現,所以要趕在老板發現前,先把問題找出來,汗顏…

各種假設找原因中,會不會是在 Demo 頁,新版本點擊登錄的比例小于舊版本?于是把成功提交申請后到 Demo 登錄的過程再次細化,在瀏覽 Demo 頁到 Demo 登錄之間增加一步“點擊登錄按鈕”,看看問題是不是出在這里?

很失望,新版本從瀏覽Demo頁到點擊登錄的比例大于舊版本,所以問題應該不是出在 Demo 頁上,繼續假設排查中…

這些瀏覽 Demo 頁后沒有成功登錄 Demo 的這些流失的人都干什么去了?此時我們可以借助用戶分群,給這些流失的人打個標簽,看看這批流失的人整體的訪問路徑是什么?

從中可以看出,新用戶從 Demo 頁跳轉到登錄頁后,有一定的用戶分流,有相當大比例的用戶重新來到了首頁,重新進行申請試用,也就是說存在同一個用戶申請多次的現象,所以又查看了人均申請次數這個指標,確實存在人均申請多次的情況,申請間隔還恰好是1分鐘。

很奇怪,他們不是成功申請了嗎,為什么還要再申請?

從用戶登錄 Demo 的界面來看,猜想,很有可能在以下兩個地方出問題:

  1. 這一段時間有可能短信系統出問題,導致發送賬號存在一定的延遲,用戶收不到賬號密碼,以為出問題了,就重新點擊了“還沒賬號,申請試用”,所以也就不奇怪為什么會有人重新來到首頁,重新申請了。
  2. 密碼輸入錯誤,但是又不支持找回密碼,只能重新申請。從數據中我們也驗證了該假設,確實存在同一個用戶密碼輸入錯誤多次的現象。

五、下一步產品優化方向

從數據分析中,我們也獲得了下一步產品優化的方向:

  1. 進一步完善賬號體系,忘記密碼后產品處理流程
  2. 盡量保證短信系統的穩定性,保證用戶在1分鐘內成功收到用戶名密碼
  3. 同一個手機號時候允許申請多次,如果不能申請多次,產品的處理流程是什么

更多優化點,還在路上~~~

 

作者:李金霞,神策數據分析師,先后服務的客戶包含紛享銷客、拉鉤云人事、網易七魚、ofo、多盟、更美等公司,致力于通過數據分析實現產品優化和精細化運營。

本文由 @李金霞 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自PEXELS,基于CCO協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 寫的真好,能加你微信好友或者關注你公眾號可以嗎

    來自四川 回復
  2. 實戰貼,很值得學習!

    來自陜西 回復
  3. 每篇都是干貨

    回復
  4. 說的不錯

    回復