還只知道“A/B測試”?是時候了解一下“多變量測試”了
徹底的設計改版最好使用A/B測試來驗證,而MVT(多變量測試)則表示不同的UI元素之間是如何相互影響的,并支持對設計的漸進式改進。
在優(yōu)化設計的方法中,A/B測試受到了廣泛的關注。MVT(多變量測試)是A/B測試的一種替代方法,但大家對這種方法的了解并不多,通常認為這種方式太耗時不值得等待。 雖然多變量測試有其局限性,但是它的很多優(yōu)點是AB測試無法比擬的。
一、多變量測試(MVT)
假設你要優(yōu)化一個線上的產(chǎn)品詳情頁,目的是大幅提升用戶將產(chǎn)品加入購物車的轉化率,你要考慮到以下幾個可能的變化:
- 使用產(chǎn)品視頻代替產(chǎn)品圖片;
- 將主要操作按鈕的文案從“立即購買”更改為“添加到購物車”。
多變量測試可以幫助你確定在多個設計優(yōu)化方案中,哪幾個方案組合起來對于轉化率的效果最好。
首先,我們來解釋一些術語
(1)變量
一個存在多種設計方案的UI元素(如圖片或標題);在我們的電商示例中,變量是產(chǎn)品的視覺展示和操作按鈕的文案。
(2)變體
變量的各個設計版本;產(chǎn)品圖像和產(chǎn)品視頻代表了視覺展示變量的兩個變體:“添加購物車”和“立即購買”文案是操作按鈕的變體。
(3)變化
最終設計包含每個變量的變體,以便與其他變化進行比較;在我們的例子中,將有4個設計變化,對應于變量變體的所有可能的組合:圖片×加入購物車,圖片×立即購買,視頻×加入購物車,視頻×立即購買。
定義:多變量測試(MVT)是一種設計優(yōu)化方法,在用戶界面中測試多個指定變量的變體,目標是最大化提升轉化率(主要的轉化,比如完成一個訂單,或者微轉化,比如與頁面上的一個功能交互)。這種方法能確定變體的哪種組合會產(chǎn)生最高轉化的設計方案(就指定的轉化目標而言)。
在多變量測試中,測試了2個或多個設計元素(變量)。其中每個變量都可以有多個變體。例如,在上面的頁面中,我們可以測試2個變量:產(chǎn)品的視覺展示(有2種設計變量:圖片和視頻)和主要操作按鈕的文案(有2種變體:“立即購買”和“加入購物車”)。
二、多變量測試(MVT)與A/B測試的區(qū)別
多變量測試通常被認為是A/B測試的一種類型,盡管它的設置和強度有些不同。以下是他們之間的相似點和不同點:
(1)這兩種方法的測試原理類似,都是通過將線上網(wǎng)站(或應用程序)中的流量,拆分并引導到有差異的頁面來測試其中的不同。
(2)針對某個具體的設計目標,兩種方法都可以用來衡量哪種設計方案(即,變化)可以產(chǎn)生最高轉化率。
(3)在A/B測試中,被測方案可能不會僅僅是一些小的細節(jié)變化,而是完全不同的兩種方案對比。例如,你可以有兩個布局完全不同的頁面、不同的副本、不同的導航、不同的視覺設計等等。A/B測試的結果將表明,一個變化的性能優(yōu)于另一個,但是你將不知道這是因為你的副本更好,視覺設計更好,還是布局更好(或者整體效果更好)。
相反,如果使用多變量測試,你可能總會將功勞歸于一個特定變體或變體組合。 因此,舉例來說,你可能會發(fā)現(xiàn),產(chǎn)品視頻在轉化過程中所產(chǎn)生的影響要比更改操作按鈕文案的效果要好得多,這會為你提供進一步的策略和設計見解(例如,它可能會告訴你投資優(yōu)秀產(chǎn)品視頻制作是值得的)。
三、多變量測試(MVT)測量元素之間的相互作用
讓我們回到一開始的電商示例。你可能想知道,兩個連續(xù)的A/B測試是否會產(chǎn)生與多變量測試相同的結果。具體來說,我們假設你先運行A/B測試來比較視頻與圖片 – 假設視頻獲勝。接下來,在獲勝的變更(即視頻)上,你可以在兩個可能的按鈕文案之間運行另一個A/B測試,并且證明“立即購買”的文案更好。難道這個結果不等同于多變量測試嗎?
答案是:不一定。因為可能是這樣一種情況,最佳組合可能是:圖片×立即購買,但是你并不會測試該版本。
使用多變量測試(而不是A/B測試)的主要優(yōu)點是:能夠確定頁面上的各種元素之間是如何交互的。只有通過測試各種變體的每一個組合,你不僅可以發(fā)現(xiàn)視覺A的性能優(yōu)于視覺B,而且C按鈕的性能優(yōu)于按鈕D,而且你還可以發(fā)現(xiàn)這些變體的最佳組合。
四、多變量測試(MVT)的局限性
每種變化組合產(chǎn)生的變體會像兔子一樣繁殖。即使在非常簡單的電商示例中也有4種設計變化可供比較,它們對應兩個2個變量之間的所有可能的組合。為操作變量(例如,購買)添加另外1個變體可能會產(chǎn)生另外2個變化 ,這2個變化是通過將此變體與直觀表示變量的2個變體組合而生成的。 (一般來說,變化的數(shù)量是將每個變量的變體數(shù)量相乘而獲得的;所以,如果你有2個變量,這兩個變量有3個變體,則會得到2×3=6個變化。)
有2個變量,每個變量都有2個變體,在多變量測試中就會有4個用以表示這些變體的所有可能組合的設計變化。
(1)在多變量測試中,需要測試的大量變化導致了該方法的最大局限性:與A/B測試相比,運行多變量測試通常需要更多的流量,才能達到統(tǒng)計意義。這是因為添加到比較中的每個變化都會導致實時流量被分成更小的部分,因此,為每個設計選項收集足夠的數(shù)據(jù)點也需要很長的時間。(然而,請記住,運行測試所需的時間不僅取決于總體流量,而且還取決于實驗目標轉化率的預期變化,因為更大的改進比微小的差別更容易衡量。)通常,在更多的變化中分割實時流量會導致測試時間過長。
(2)MVT(多變量測試)的另一個限制是,所有變體的組合必須在一起才有意義。?例如,在頁面上測試一張圖片和一個標題的變體時,請勿寫出涉及圖片變體細節(jié)的標題(例如“美妙的溫泉度假”與“美妙的海灘度假”以及相應的照片), 因為每個標題都會在一個變更中同每張圖片進行測試。 這種類型的實驗最好設置為A/B測試,這樣可以更好地控制組合。
使用多變量測試來優(yōu)化設計,而不是完全改變它。
多變量測試是對設計進行漸進式改進的好方法,而不是對設計進行大規(guī)模重新設計的好方法。?因為它要求你識別頁面上某些感興趣的元素,以測試該變量的多個變體,所以你無法輕易地比較各種變化中的根本變化。
對于主要的設計優(yōu)化,要在原始版本和提議的新版本之間運行A/B測試以找出哪個更好。然后,使用多變量測試來優(yōu)化獲勝設計的各種元素。始終保持迭代!
五、得到啟示
如果你的目標是進行實質性的重新設計(比如重新設計主要的布局),那么使用A/B測試來比較這個新設計和當前的設計,會比MVT(多變量測試)更合適。一旦發(fā)現(xiàn)性能更高的設計,就可以使用多變量測試來進一步優(yōu)化獲勝布局中的特定元素。
原文作者:Aurora Harley
原文地址:https://www.nngroup.com/articles/multivariate-testing/
#專欄作家#
熊貓小生,微信公眾號:MUXDesign,人人都是產(chǎn)品經(jīng)理專欄作家。高級交互設計師,UED負責人。關注互聯(lián)網(wǎng)C端產(chǎn)品設計相關,擅長移動端產(chǎn)品交互設計,前沿設計風格探索,設計流程優(yōu)化和管理,歡迎交流~
本文翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載。
題圖由譯者提供
對于測試流量量級的要求更高啊,對于很多想要快出效果的平臺來說,道理對,但不可行。
那么如何進行多變量測試呢
受教了,get到一個新概念