為什么別人能做有效的A/B測(cè)試,而你不能?
給要做的A/B測(cè)試定個(gè)小目標(biāo),比如先跳過這4個(gè)坑。
你聽到每個(gè)人都大贊A/B測(cè)試,它是如何幫助一款產(chǎn)品降低跳出率,增加轉(zhuǎn)化及轉(zhuǎn)化價(jià)值,并帶來(lái)更多的銷售。但是,你做的A/B測(cè)試卻并沒有達(dá)到人們說的那么神奇的效果。
事實(shí)上,不是每個(gè)獨(dú)立訪客都會(huì)注意到新的購(gòu)買按鈕,你的注冊(cè)表單仍然會(huì)產(chǎn)生零轉(zhuǎn)化。而且,從產(chǎn)品頁(yè)跳轉(zhuǎn)過來(lái)的用戶看起來(lái)好像沒什么變化。困境在于:即使轉(zhuǎn)化上來(lái)了,你也知道這是因?yàn)闀r(shí)間的累積而不是測(cè)試!
盡管你認(rèn)為A/B測(cè)有效,并且有足夠的證據(jù)來(lái)證明它的價(jià)值。但問題在于,在設(shè)置測(cè)試時(shí)你就Z在不經(jīng)意間破壞了你的A/B測(cè)試。在這篇文章中,我會(huì)告訴你殺A/B測(cè)試于無(wú)形中的四大誤區(qū)。
1.運(yùn)行“快速”測(cè)試,難以發(fā)現(xiàn)真實(shí)問題
你知道,我敢肯定大多數(shù)轉(zhuǎn)化率專家聽到“快速”這個(gè)詞都會(huì)感到畏懼,但是我猜這也是從客戶那里聽到的最多的一個(gè)詞。
關(guān)鍵是:A/B測(cè)試不是快速解決問題的靈丹妙藥。
如果你想找出那些對(duì)轉(zhuǎn)化率有積極影響的頁(yè)面元素,首先需要研究和理解你的受眾,他們對(duì)你的商業(yè)模式會(huì)做何反應(yīng),識(shí)別造成低轉(zhuǎn)化的潛在問題,最終,提出如何解決它的想法。然后,啟動(dòng)A/B測(cè)試來(lái)驗(yàn)證它們。這是增加你獲勝砝碼的唯一真實(shí)解決方案。
從另一方面講,“快速”分割測(cè)試著眼于方案而非問題。測(cè)試不同的按鈕顏色絕不是一個(gè)有意義的測(cè)試。相反,運(yùn)行基于數(shù)據(jù)的測(cè)試來(lái)分析“添加到購(gòu)物車”按鈕的性能才是有意義的。
2.要相信人為的合理決定限制了你的測(cè)試選項(xiàng)
事實(shí)上:作為市場(chǎng)人員,我們經(jīng)常對(duì)客戶的喜好、信仰以及行為驅(qū)動(dòng)因素做出假設(shè)?;跀?shù)據(jù),我們?cè)噲D去猜測(cè)什么原因會(huì)說服一個(gè)人做出購(gòu)買決定,注冊(cè)一個(gè)郵件列表,或引起其它任何轉(zhuǎn)化。
然而,問題在于,我們?nèi)狈侠硪罁?jù)。
例如,我們根據(jù)情緒而非邏輯做決定。南加州大學(xué)神經(jīng)科學(xué)教授 Antonio Damasio 對(duì)大腦產(chǎn)生情感的區(qū)域受損的人群做了一個(gè)實(shí)驗(yàn),發(fā)現(xiàn)他們不僅無(wú)法感覺到任何情緒,而且他們也無(wú)法做出決定。
他的課題可以解釋這些人群在邏輯上的行為,但實(shí)驗(yàn)證明做決定對(duì)他們來(lái)說是很困難的一件事。
我們經(jīng)?;乇茏鰶Q定。
例如,我們經(jīng)常會(huì)選擇默認(rèn)選項(xiàng),因?yàn)檫@意味著根本不用做決定。
Dan Ariely 在他精彩的 TED 演講中解釋了這種行為:Are we in control of our own decision ? ( TED , December 2009)(觀看可能需要翻墻)
人們總是很容易接受建議
第一位研究人類行為的心理學(xué)家 Walter Dill Scott 寫道:“人類被稱為理性動(dòng)物,但毋庸置疑,人類也是建議性生物。人是理性的,但很大程度上都會(huì)受別人建議的影響?!?/p>
想一想:什么時(shí)候你會(huì)被朋友或認(rèn)為有權(quán)威性的人那里得到的建議所左右?什么時(shí)候你買東西是因?yàn)槟愫苄刨嚨娜艘操I了它?或者去一個(gè)度假勝地只是因?yàn)槟愕呐笥讶ミ^那里?
我們來(lái)看看希拉里競(jìng)選做的A/B測(cè)試中含有的暗示性信息:
1.注意這頁(yè)里的信息“Thank you”(背景左上角部位彈出),在捐助者捐助前展示,推動(dòng)募捐。
2.“She’s with……”信息(在背景中同樣的地點(diǎn),左上角彈出)
擁有的信息越多,我們所做的決策越差
奧斯丁大學(xué)的研究證明,我們對(duì)可用選項(xiàng)的信息越多,越會(huì)做出比較差的選擇,尤其是從長(zhǎng)期結(jié)果來(lái)看。好吧,但是這根A/B測(cè)試有什么關(guān)系呢?關(guān)系很大。
你可以看到:假設(shè)你的客戶基于邏輯和理性做決定,那么你為潛在假設(shè)所做的試驗(yàn)就越少。
總關(guān)注于決策背后的邏輯論證,意味著你很少測(cè)試“不常見的”場(chǎng)景。然而,“不常見的”場(chǎng)景可能會(huì)比你在注冊(cè)按鈕上做的其它測(cè)試帶來(lái)更加意想不到的結(jié)果。
3.忽略科學(xué)流程導(dǎo)致測(cè)試質(zhì)量不佳
看:如果一遍又一遍的測(cè)試都沒能提供任何有意義的結(jié)果,那很可能是因?yàn)槟銢]有正確的設(shè)計(jì)試驗(yàn)?;蛟S你只是簡(jiǎn)單的復(fù)制別人的測(cè)試。或許,你應(yīng)該從頭開始設(shè)計(jì)你的測(cè)試的最佳實(shí)踐。
科學(xué)的方式是旨在幫助制定,測(cè)試和修改可行假設(shè)的一套程序。
該流程從觀察階段開始,識(shí)別問題并制定可測(cè)試的假設(shè)。再與研究發(fā)現(xiàn)的結(jié)果進(jìn)行分析,得出的結(jié)論反過來(lái)又成為新的研究和假設(shè)的基礎(chǔ)。在另一篇文章(公眾號(hào)里發(fā)送關(guān)鍵字“另一篇文章”,查看鏈接)里我解釋了怎么通過科學(xué)的方式來(lái)設(shè)計(jì)A/B測(cè)試的細(xì)節(jié)。
但我必須澄清:使用科學(xué)方法并不意味著你必須從頭拿出你的假設(shè)的潛在解決方案。并且,科學(xué)的方法應(yīng)該是運(yùn)行每一個(gè)測(cè)試的基礎(chǔ)。
4.在錯(cuò)的時(shí)間做的A/B測(cè)試掩蓋了正確的結(jié)果
你知道:買家行為變化取決于一年所在的時(shí)間。例如,季節(jié)會(huì)影響到購(gòu)買行為的每一個(gè)變量,想一想黑色星期五時(shí)用戶的瘋狂表現(xiàn)吧。
你的公司也可能在一年的特定時(shí)間有不一樣的運(yùn)行狀態(tài)。在你所在的區(qū)域你可能會(huì)季節(jié)性備貨,或者做比平時(shí)力度更大的促銷和優(yōu)惠,你可能會(huì)發(fā)更多的郵件,產(chǎn)出更多的內(nèi)容等。
不用說,這些行為都將反映在你的A/B測(cè)試結(jié)果里。因此,你可能不能確定是你的假設(shè)起了作用還是購(gòu)物者的季節(jié)性行為引起你所期待的改善。
不是你跟A/B測(cè)試沒有緣,是相戀在了錯(cuò)的時(shí)間。因此,作為一項(xiàng)準(zhǔn)則,你應(yīng)該在自然的商業(yè)循環(huán)周期里運(yùn)行重要測(cè)試,以得到最客觀的數(shù)據(jù),比如避免在旺季做測(cè)試。
結(jié)論
眾所周知,A / B測(cè)試是提高轉(zhuǎn)換率,降低跳出率,提高銷量的好方法。但是它很容易因?yàn)槟悴划?dāng)?shù)脑囼?yàn)設(shè)置而遭到破壞。為了避免這樣,在設(shè)計(jì)測(cè)試時(shí),你應(yīng)該注重科學(xué)的方法,關(guān)注目標(biāo)群體的情緒心態(tài),最后,避免在不合適的時(shí)間做測(cè)試。
本文由吆喝科技編譯,微信 ID:appadhoc
原文:How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing
本文由 @吆喝科技 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
- 目前還沒評(píng)論,等你發(fā)揮!