起點(diǎn)課堂會員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會特權(quán)
個(gè)人IP打造特權(quán)
30+門專項(xiàng)技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會員專屬社群
榮耀標(biāo)識A/B 測試之前必須要了解的 10 件事
A/B測試已是一個(gè)老生常談的概念了，但是你真的能夠做好A/B測試嗎？看看這篇文章，也許能夠讓你在進(jìn)行A/B測試時(shí)少踩幾個(gè)坑。
如今，轉(zhuǎn)化率優(yōu)化（CRO）已是營銷人員必須具備的技能，并且與 ROI 直接掛鉤。但是在優(yōu)化網(wǎng)頁的轉(zhuǎn)化率方面又有太多因素要考量，如果你已經(jīng)不堪其憂，請專心做一件事—— A/B 測試。
A/B測試，即你設(shè)計(jì)的頁面有兩個(gè)版本（A和B），A為現(xiàn)行的設(shè)計(jì)， B是新的設(shè)計(jì)。比較這兩個(gè)版本之間你所關(guān)心的數(shù)據(jù)（轉(zhuǎn)化率，業(yè)績，跳出率等） ，最后選擇效果最好的版本。
1.忘掉你原本對用戶的了解
是的，人們都太容易陷入對用戶年齡，性別，位置，或收入的假設(shè)之中。曾經(jīng)，“客戶分析”是與用戶接觸的最好的（甚至是唯一的）方法。即便是現(xiàn)在，它在市場營銷中也占有一席之地。
2.建立一條基線
誠然，提高轉(zhuǎn)換率是你的近期目標(biāo)，但是在你開始 A/B 測試之前，你需要建立一條基線，如果你不知道你目前的轉(zhuǎn)換率是什么，你將如何知道你未來的測試是成功的？（更多請看第5條）
3.對別人有效的方法，對你未必適用
你必須對你自己獨(dú)特的內(nèi)容與你自己獨(dú)特的用戶進(jìn)行 A/B 測試。當(dāng)然，你可以從其他CRO人員那里套用類似方法，但不要指望能得到相同的結(jié)果。
例如，一個(gè)銷售鞋帶公司和一個(gè)銷售企業(yè)應(yīng)用軟件的公司，同樣客戶都很普遍，但是購買周期完全不會一樣。前者的網(wǎng)頁上修改一個(gè)按鈕顏色能提高銷量，對于后者可就未必如此。
4.一次只測試一項(xiàng)內(nèi)容
這個(gè)是不言而喻的，但值得一提，因?yàn)榉浅Ｖ匾?。在一段時(shí)間，對一個(gè)變量進(jìn)行 A/B 測試，這樣的結(jié)果是可讀的。但是如果你改變你的標(biāo)題在同一時(shí)間你改變你的導(dǎo)航，你怎么會知道哪個(gè)變量促成了最多的轉(zhuǎn)換？
5.不要急于下結(jié)論
在 A/B 測試中，統(tǒng)計(jì)置信指的是如果再次運(yùn)行相同的測試，是否能有相同的結(jié)果。換句話說，它會告訴你測試結(jié)果是否可信。
例如，假設(shè)在購物車頁面進(jìn)行 A/B 測試，其中“A”是單選按鈕而“B”是下拉菜單。于是就有了結(jié)論，“B”提高了75％的轉(zhuǎn)換率。顯然，B更好，是這樣嗎？
不一定。因?yàn)橛腥齻€(gè)事實(shí)需要考慮：
1.樣本容量
還是上面的例子，如果你的樣本量為4人，這意味著只有3人喜歡下拉菜單。當(dāng)然，這是一個(gè)良好的開端，但在1000的樣本量仍是這一結(jié)果的可能性極低；因此，本次測試的結(jié)果屬低置信度。
2.容錯(cuò)率
例如，在樣本大小為500時(shí)，99％的客戶傾向于下拉菜單，你可以相當(dāng)肯定的是，你的誤差率較低。如果，49％的用戶喜歡下拉菜單，51％的用戶喜歡單選按鈕，那么隨機(jī)性就不得不考慮進(jìn)來了，你應(yīng)該繼續(xù)運(yùn)行測試，直到一個(gè)更高的置信度。
3.用戶規(guī)模
如果你的整個(gè)用戶群體的規(guī)模是25萬，你的樣本量為25人，這樣產(chǎn)生測試結(jié)果也不具有高置信水平。
6.路要一步一步走
老生常談的一名話了。隨著客戶的看法和期望的發(fā)展，CRO永遠(yuǎn)是一個(gè)不斷前進(jìn)的目標(biāo)。不怕犯錯(cuò)，從中練習(xí)，你就會成為一個(gè) A/B 測試的高手。
7.多收集一些意見
用戶測試從未像現(xiàn)在這樣重要，也從未如此簡單！即使你沒有這樣一個(gè)部門去專門做用戶測試，也選擇一些免費(fèi)和低成本的服務(wù)。
1.Peek by UserTesting
Peek 是一個(gè)超級簡單，快捷的方式，收集有關(guān)您的網(wǎng)站的定性反饋。
優(yōu)點(diǎn)：信息反饋一般是公正的，詳細(xì)的，而且免費(fèi)！
缺點(diǎn)：不能在其目標(biāo)受眾之外測試接口。此外，費(fèi)時(shí)較長。
2.Amazon Mechanical Turk
優(yōu)點(diǎn)：一般比較廉價(jià)，可擴(kuò)展，定量，你可以預(yù)先選擇標(biāo)準(zhǔn)。
缺點(diǎn)：這通常是通過調(diào)查引擎，可以引入人為的過濾器。
底線：有反饋總比沒有反饋強(qiáng)！
8.實(shí)際用戶表現(xiàn)可能和用戶調(diào)查數(shù)據(jù)相左
用戶調(diào)查會引入人員誤差，而原始用戶表現(xiàn)統(tǒng)計(jì)數(shù)據(jù)則不會有這些問題。
例如，你現(xiàn)在急著去開會，要打印文件卻發(fā)現(xiàn)打印機(jī)沒墨了，你會怎么做呢？
也許你會說，很簡單啊，換個(gè)新墨盒打印完唄。如果這是一個(gè)用戶調(diào)查，我會接受你的回答。
但是如果是在用戶測試環(huán)境，我會記下你敲了打印機(jī)4下，清除卡紙，又狂按“取消”按鈕7次，再換下墨盒。整理文件時(shí)你又打翻了咖啡，灑在了衣服上，于是只好重新安排會議時(shí)間。
在調(diào)查中，你確實(shí)沒有說謊，你也確實(shí)換墨盒了，只是會忽略前前后后那么多行為。
9.明確定義你成功的標(biāo)準(zhǔn)
不要忘記初衷： CRO 是要提高轉(zhuǎn)化率。不是打開率，點(diǎn)擊率，轉(zhuǎn)發(fā)率，好評率，或固定率。（除非你的網(wǎng)站就是做這個(gè)的）
底線：心中有一個(gè)目標(biāo)，優(yōu)化周圍的目標(biāo)，你的內(nèi)容。一切是一個(gè)關(guān)鍵績效指標(biāo)（KPI）。
10.不要去測試無關(guān)緊要的因素
用你的常識去測試你的直覺，直接測試高影響因素。
End.
作者：那些數(shù)據(jù)驅(qū)動的優(yōu)化
來源：http://www.36dsj.com/archives/72283
本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù)，作者@那些數(shù)據(jù)驅(qū)動的優(yōu)化
測試用例