關(guān)于A/B Test的那點(diǎn)事
A/B測(cè)試的作用大家都知道,就不多說(shuō)了,在這里寫(xiě)寫(xiě)我在平時(shí)工作中應(yīng)用心得。
在我的業(yè)務(wù)線平時(shí)應(yīng)用A/B的場(chǎng)景:A大多是已經(jīng)在線的一個(gè)產(chǎn)品,而B(niǎo)是一個(gè)我們將要上線的另一版本的產(chǎn)品(有可能是改進(jìn)也有可能是推倒重來(lái)的),因?yàn)橹苯油ㄟ^(guò)B去替換A可能用戶(hù)一下子接收不了,所以我們會(huì)切部分用戶(hù)出來(lái)用B版本,上線一段時(shí)間后,收集用戶(hù)的反饋,再去調(diào)整,逐步去替換使用A的用戶(hù),這樣做能讓用戶(hù)更平滑的接收。別小看這個(gè)過(guò)程,其實(shí)有很多策略可講究了。說(shuō)說(shuō)我的真實(shí)經(jīng)歷。
之前做【AE賣(mài)家后臺(tái)首頁(yè)改版】的時(shí)候有兩種方案做A/B測(cè)試,第一種:直接切20%的流量體驗(yàn)新版后臺(tái)(根據(jù)帳號(hào)數(shù)隨機(jī)切20%的用戶(hù)登錄就跳轉(zhuǎn)到新版),不提供【返回舊版】入口,另一種切50%的流量讓用戶(hù)體驗(yàn)新版后臺(tái),但是要提供【返回舊版】的入口。
第一種方案相對(duì)比較保守或者說(shuō)慎重,因?yàn)橛脩?hù)不能回到原來(lái)熟悉的頁(yè)面中去使用,特別是在后臺(tái)(執(zhí)行任務(wù)為主)一旦用戶(hù)有比較緊急和重要的任務(wù)要做(比如編輯產(chǎn)品、發(fā)貨、回復(fù)詢(xún)盤(pán)),會(huì)非常影響他的效率,從而直接帶來(lái)一些不理性的反饋。好處:如果產(chǎn)品的改版是方向性的(就是商業(yè)決策上一定要這樣去改了),那通過(guò)這種方案一步步切流量,整個(gè)過(guò)程還需要和用戶(hù)溝通解釋?zhuān)湍苡袀€(gè)較平滑的過(guò)渡,比如網(wǎng)站首頁(yè)的改版、SKU項(xiàng)目。
第二種方案就比較開(kāi)放,因?yàn)橛脩?hù)有【返回舊版】的入口,用的不爽可以回去,而且被測(cè)試的用戶(hù)基數(shù)較大,這樣得到的反饋相對(duì)來(lái)說(shuō)更有定量的價(jià)值,容易發(fā)現(xiàn)同類(lèi)度比較多的問(wèn)題,相對(duì)來(lái)說(shuō)反饋內(nèi)容也比較理性充實(shí),我在群里、網(wǎng)上、上門(mén)跟用戶(hù)聊的時(shí)候他們大多都說(shuō)出對(duì)于不爽的很多細(xì)節(jié)。
當(dāng)然這兩種方案都基于一個(gè)很重要的前提,改版前做好功課:解決的問(wèn)題和用戶(hù)期望匹配度要高,準(zhǔn),而且第二種尤其。寫(xiě)到這里大家應(yīng)該能看出我最終選擇了哪種方案做了【AE賣(mài)家后臺(tái)首頁(yè)改版】。
對(duì)了,第二種方案還能給我們一個(gè)很重要的結(jié)果指標(biāo),就是用戶(hù)在A/B版本的存留人數(shù),再來(lái)看個(gè)當(dāng)時(shí)【AE賣(mài)家后臺(tái)首頁(yè)改版】review數(shù)據(jù)圖。
此次使用A/Btest的進(jìn)行測(cè)試,新舊版各50%的用戶(hù),在新舊版頭部布有切換按鈕,用戶(hù)在下次登錄ME時(shí)會(huì)自動(dòng)進(jìn)入上次退出地的ME版本中。
總的來(lái)說(shuō)新版上線后,用戶(hù)隨著一個(gè)時(shí)間段的體驗(yàn)和適應(yīng),新舊版的的存留上是五五開(kāi)。
新版由于鏈接數(shù)上有所簡(jiǎn)化,所以PV對(duì)比上會(huì)略低,而新版Session在近一周有所超越舊版的跡象。
通過(guò)存留比能很好的反映用戶(hù)最終的接受度,同時(shí)也是作為判斷產(chǎn)品是達(dá)到足夠替換舊版的一個(gè)重要指標(biāo)之一。
這里再提一下對(duì)于改版類(lèi)的A/B測(cè)試還有一大利器就是熱點(diǎn)分布圖,基本能很直觀的表現(xiàn)出用戶(hù)的焦點(diǎn)功能能否在一屏內(nèi)看到,操作到,盡量少的需要滾動(dòng)。
當(dāng)然每個(gè)產(chǎn)品情況不同不一定是看類(lèi)似的指標(biāo)數(shù)據(jù),但在做A/B前梳理清楚上線后通過(guò)哪些數(shù)據(jù)來(lái)衡量是非常重要的,衡量哪些指標(biāo),我們UED也最好能主動(dòng)和PD一起去討論,畢竟有些指標(biāo)數(shù)據(jù)能指導(dǎo)、影響我們的方案和看問(wèn)題視角。
當(dāng)然A/B測(cè)試還有很多種用法和分步實(shí)施方案,測(cè)試出的結(jié)果也會(huì)有很多有意思的解讀,項(xiàng)目做的多了,思考的多,遇到的問(wèn)題多了,都能感受的到,以上只是舉了個(gè)簡(jiǎn)單的例子。
A/B測(cè)試和PD
寫(xiě)到這個(gè)標(biāo)題,是我想到了很多時(shí)候UED在PD溝通方案出現(xiàn)分歧時(shí),最終會(huì)提出做A/B測(cè)試,這本身沒(méi)錯(cuò)。但我在和PD們聊過(guò)這個(gè)問(wèn)題時(shí),他們有時(shí)候會(huì)有一種較負(fù)面的感覺(jué):這么小的一個(gè)需求還要做A/B哪有資源和時(shí)間,感覺(jué)這成了阻礙他們項(xiàng)目進(jìn)度的一個(gè)絆腳石??赡芪覀冎皇窍胱C明自己更對(duì),并沒(méi)有那種意思,但如果對(duì)方有了這種感受其實(shí)很不利于以后的合作的。
我的一點(diǎn)點(diǎn)看法就是,如果項(xiàng)目是很重要和關(guān)鍵的改動(dòng),我們盡早提出該項(xiàng)目需要做A/B測(cè)試(PD也會(huì)比較慎重的,最好你還能提出如何去做A/B測(cè)試的建議方案更nice),規(guī)劃到項(xiàng)目整體資源中去,而不是在項(xiàng)目KICKOFF后,大家都完成了評(píng)估開(kāi)始執(zhí)行了再來(lái)提。如果是些小改動(dòng)影響不大,方案一直糾結(jié)不下,哪我建議我們大度點(diǎn)讓讓TA們吧,最后真的他們錯(cuò)了,補(bǔ)救的成本也不會(huì)太高的。這點(diǎn)是我們需要注意下的。
以上只是個(gè)人心得,雖不能適用大家的工作場(chǎng)景,但舉一反三,希望帶給大家一點(diǎn)點(diǎn)思考,就算沒(méi)浪費(fèi)大家讀到這里了。
來(lái)源:aliued
swot
之前一直不知道什么意思,搜了都是晚上說(shuō)的研發(fā)層面的意思,現(xiàn)在終于理解了,謝謝分享
??
學(xué)習(xí)了
?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ??