搭建一個可靠的A/B測試的方法:結構化的假設

0 評論 6064 瀏覽 22 收藏 13 分鐘

如何構建一個結構良好的假設,進而用結構化假設來搞好A/B測試。在這篇文章中,我們將會盡量精確地引導你。

在A/B測試里,提出一個你想要測試的念頭并不難。提出一個你應當測試的想法才有難度。

怎么才能提出應當測試的想法?每個玩A/B測試人可能都有點兒想法。我這兒沒什么別出心裁的,只找到個能讓你按部就班搭建一個可靠的A/B測試的方法。

這個方法,是從一個結構化的假設開始的。讓我們一步步來看:

通常情況下,A/B測試內容的定奪依賴于人們的直覺和曾經的最佳實踐——最終卻產生了不利的結果。另一些人則傾向于采取比較短視的方法,只考慮轉化漏斗(獲取用戶/提高活躍/提高留存/獲取收入)的一個方面,而不看長期目標。

為了克服這些最常見的優化錯誤,把你的優化視為一整個過程來構建是很重要的。這個過程包括進行徹底的研究,提出正確的問題,在問題的相關領域挖掘答案,運行測試,并最終獲得有價值的結果。在這個過程中,如何提出正確的問題,是大有講究的——結構化。

結構化方法基本思想:把一個復雜問題的求解過程分階段進行,而且這種分解是自頂向下,逐層分解,使得每個階段處理的問題都控制在人們容易理解和處理的范圍內。

根據Econsultancy CRO 2015報告,采用結構化測試(即下文闡述的循序漸進構建測試的方法)的公司,其銷售額大幅增加的可能性兩倍于盲目搞測試的公司。

為了使測試有意義(因此能讓結果有價值),你首先要清楚地確定測試的內容以及測試的原因,這就涉及到如何構建一個結構良好的假設,進而用結構化假設來搞好A/B測試。在這篇文章中,我們將會盡量精確地引導你。

一、決定測試的內容

關鍵點在于建立一個堅實的假設,用以擴大獲得勝利的機會,而不是抓鬮一樣測試一個“我覺得OK”的想法。

一個堅實的假設要求你做出解釋或解決一個問題。把它看作是將問題與解決方案聯系起來的粘合劑。舉個栗子,你可以假設:在你的付款頁面添加一些能提高信任感的標識(建立信任感的各種元素。比如某某認證,某某客戶的評價,這在《國外專家的轉化率優化指南》中提到過,下面簡稱為信任標識),可以解決該頁面轉換率較低的問題。

想必你已經注意到了——這個假設是由兩個變量組成的,即原因(我們要測試的行為)和效果(我們期望的結果)。

一個結構化的假設將會構建一個強有力的實驗,并可能產生高度可操作的(正面或負面)結果。相反,缺乏精心設計的假設的實驗可能會使你陷入在錯誤的方向投入時間和精力的尷尬境況。

但是,如何開始制定一個假設呢?

理論上可以有兩種方法:

  • 方法一:你可以按照歸納法?–?即依靠頭腦風暴產生一大堆思想,然后查看以往的數據來驗證這些想法是否合理,并形成一個假設。
  • 方法二:或者你可以按照觀察模式的演繹法,推導出一個測試假設。

無論哪種方式,形成強有力的假設最關鍵的部分是其背后的研究。讓我們來看看觀察模式的是如何形成一個強有力的假設的。

二、用觀測法制定假設

觀察數據

注意你的記錄,那里可能藏著所有的關鍵數據。不過,這些數據都必須被提煉成一個合乎邏輯的假設。這將經歷四個階段:數據—信息—知識—智慧(在大環境下運用知識體系來推測事件緣由的能力)

顯然,在數據方面具有一定程度的理解能力是構建結構良好的假設的關鍵。通過了解你的頁面分析數據,并將其與你的業務目標對齊,可以將“簡單的客觀事實”或想法轉化為一個結構良好的假設。就是這樣:

分析你的頁面

你的頁面分析數據是你制定假設時的第一個??奎c。隨著大量數據的跟蹤,你可以找到與你網站當前狀況明顯相關的問題

例如,我們之前形成的“在支付頁面上添加信任標識”的假設可能是由“頁面的高退出率”引起的。頁面的退出率以及其他指標可以在你的頁面分析數據中找到。

Google Analytics(GA)和Kissmetrics等頁面分析工具可以向你顯示訪問者瀏覽你的網頁時留下的各類數據。其中,值得你跟蹤以驗證一個想法并建立一個假設的一些重要指標是:

  • 流量報告:總流量,訪客總數(總體和個別網頁)等指標可以幫助你跟蹤測試影響的人數,以及完成測試的時間。
  • 獲取用戶報告:這可以幫助你確定訪問者來自哪里(你的最佳流量來源)以及不同渠道之間的績效差異。
  • 登錄頁面報告:你的登陸頁面和退出頁面顯示訪問者如何進入和離開網站。
  • 漏斗報告:這會讓你了解訪問者進入或退出營銷渠道的問題,以及他們如何在不同頁面之間導航。
  • 設備類型:這將幫助你決定是否應該優先考慮優化特定設備上的體驗。

對于你從分析中得到的任何觀察結果,都要問自己足夠多的“為什么”來形成一個可靠的假設。

將假設與業務目標校對

如果你有按照SMART原則(具體的,可衡量的,可實現的,與其他目標相關的,有時效的)來為你的業務設定目標,那么你應該確保你的假設也符合此原則。

首先確定你的企業或組織中最重要的目標是什么,然后把它們與現實的假設聯系起來。

三、觀察用戶行為

現在你已經獲得了情報,能夠了解什么游客正在你的頁面上做什么,那么接下來你自然而然地會需要知道為什么他們要這么做。設計主題不明確,文案撰寫不明了,過早要求太多信息等因素可能會導致轉換率低下。以下是可幫助你確定并消除問題的做法:

訪客行為分析

檢查當前訪問者的行為可以幫助你確定轉換過程中最緊迫問題的具體細節。

說到我們之前提及的信任標識假設——頁面分析數據誠實地顯示了有多少人從付款頁面中選擇了放棄付款直接離開,同時,利用用戶行為分析工具,如Heatmaps,Clickmaps,Mouse recording(國內的就不廣告了自行百度吧)等還是可以分辨出他們在哪些模塊花費了大部分時間,或是完全忽略了哪些模塊。

四、留心用戶意見

當你在設法搞出一個結構良好的假設時,你的分析(頁面分析或用戶行為分析)很有可能面臨敘述謬誤或確認偏倚的風險。這就是通過客戶調查收集實時定量和定性數據的地方。調查主要有兩種形式:現場調查和非現場調查。我們從簡單的非現場調查開始。

非現場調查

簡單來講就是收集用戶的反饋,其中非現場調查通過電子郵件或第三方調查網站來完成。

現場調查

現場調查的目的也是為了收集反饋信息,但卻是實時的,通過一個彈出窗口之類的界面來接收用戶的反饋。比如,當你的用戶突然決定取消訂單或者說放棄支付的時候,你就可以彈出一個窗口,并預先準備好一些可能的答案——舉個栗子,訂外賣下單以后取消的話,會有一個窗口來收集你取消訂單的原因。此外,調查還可以通過某些用戶操作(例如,使用內置的搜索功能,打開產品詳細信息頁面等)來觸發,以收集關于特定功能的反饋。

這是一個很好的機制,可以更多地了解你的用戶并驗證你的假設,幾乎是在與用戶的直接交流中收集關于興趣,態度或喜好的信息。

總的來說,在計劃使用現場調查時,你可能想要考慮三件事情:

  • 為什么要問這個問題:清楚地勾畫出你正在進行調查的最終目標。例如,你是否想要反饋頁面設計/內容/相關性/可信任程度等
  • 什么時候問這個問題:在正確的時間提出正確的問題是很重要的。你可以查看頁面,查看指標的平均時間,并向已經與你的網站/頁面進行足夠互動的訪問者提問。
  • 有哪些問題需要問:要問哪個問題很大程度上取決于你的最終目標。如果你正在進行客戶滿意度調查以獲得有關文案/設計的見解,那么開放式問題就是很棒的選擇。如果你想量化客戶體驗,那么測量凈推薦值(NPS,又稱凈促進者得分,一種顧客忠誠度分析指標,常見問題“你向朋友推薦這個產品的可能性有多大?”)就可以做到。

形成一個結構良好的假設是轉換優化難題中的一個關鍵部分,它可以幫助你識別并消除轉換漏斗上造成用戶流失的漏洞,也就達到了幫你確定合適的測試內容的目的,進而讓你的測試有了意義,讓結果有了價值。

 

原標題:《A Step-by-Step Approach to Building a Strong A/B Testing Hypothesis》

原文地址:Visual Website Optimizer Blog

原文作者:Vaishali Jain

譯者:一顆糯米,Testin數據運營事業部的一小只,微信公眾號:云測數據(testindata)

本文由 @一顆糯米 翻譯發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自 unsplash

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發揮!