設計沉思錄 | A/B測試助力設計師改善產(chǎn)品體驗
編輯導讀:AB測試是產(chǎn)品、運營同學經(jīng)常用到的工具,它能夠比較不同版本用戶體驗的變化,收集數(shù)據(jù)并根據(jù)數(shù)據(jù)分析結果衡量更改對業(yè)務的影響,可以確保每個更改都產(chǎn)生正向結果,從而消除創(chuàng)新和迭代風險,讓業(yè)務快速增長。在產(chǎn)品體驗設計工作中,AB測試也是不可或缺的一種有效手段。本文對此進行了說明,與大家分享。
- “我更傾向于A版方案,視覺風格更加統(tǒng)一,簡單直觀”
- “這兩個方案我感覺都可以啊,不就是文案的差異嗎”
- “我傾向于B,這一版引導清晰關鍵指標轉化肯定會高”
- “…”
設計師在日常工作中,始終面對著不斷出現(xiàn)的艱難選擇,兩種看似都可行的設計方案常常難以抉擇。面對這種情況,設計師和產(chǎn)品常常會通過測試來最終做出設計決策,而其中較為常用的測試利器就是A/B測試-先把兩種(或者多種)方案進行小流量的測試,利用測試的數(shù)據(jù)來預估全量之后的效果。
下面,我將結合最近的AB測實踐,聊聊在產(chǎn)品設計中A/B測試的心得體會,助力改善產(chǎn)品體驗。
01 A/B 測試是什么
AB測試是為Web或App界面或流程制作兩個(A/B)或多個(A/B/n)版本,在同一時間維度,分別讓組成成分相同(相似)的訪客群組(目標人群)隨機的訪問這些版本,收集各群組的用戶體驗數(shù)據(jù)和業(yè)務數(shù)據(jù),最后分析、評估出最好版本,正式采用。①
02?A/B測試能解決哪些問題?
- 解決分歧。消解在設計過程中各方的分歧,最終達成方案的共識。
- 明確影響的因素。通過不同因素的驗證,探尋影響產(chǎn)品轉化的因素。
- 助力核心數(shù)據(jù)的增長。通過A/B測試,分析評估出轉化最高的方案。
- 優(yōu)化產(chǎn)品體驗。降低新方案帶來的不確定影響,助力產(chǎn)品體驗優(yōu)化。
03?設計師要如何使用A/B測試呢?
筆者通過公司內(nèi)部多項AB測實踐,總結了一套通用的A/B測試流程,如下圖,希望下面的步驟,可以幫你通過A/B測試來提升產(chǎn)品體驗。
明確目標-設置變量-設計方案-線上測試-分析迭代
1. 明確目標
在開始測試之前,我們一定要明確希望通過A/B測來達成什么目標。這個可以是提升頁面的點擊量,可以是提升訂單轉化,也可能是提高銷售額。衡量標準通常是根據(jù)公司、產(chǎn)品和團隊的具體目標來制定。
以招聘業(yè)務線職位列表頁優(yōu)化為例,因為線上列表頁存在已久,投遞連接轉化也相對固定,產(chǎn)品側希望通過豐富HR字段來探索提升職位列表投遞轉化的可能性。
通過前期各方的溝通,我們也明確了此次優(yōu)化的目標為提升用戶的投遞轉化率,基于這個目標,我們也拓展出多個優(yōu)化方向,我們期望通過A/B測來驗證我們的方案,找出最優(yōu)方案。
2. 設置變量
達成目標的方式有多種,設計師應合理轉化產(chǎn)品的目標,拓展多個解題方案。除了產(chǎn)品前期提供的豐富內(nèi)容變量以外,我們也在信息內(nèi)容展示形式上拓展出其他多個版本。在內(nèi)容展示上,設計師也可以在信息元素大小、顏色、布局等多個維度去探究更合理的答案。
在設置變量環(huán)節(jié),一個重要的前提是嚴格控制變量,兩兩對比只存在一個單一變量,只有這樣我們才能判斷最終的數(shù)據(jù)變動是否由某單一變量引起。
在列表頁優(yōu)化項目中,我們確定了以下兩個方向去控制變量:
- 內(nèi)容層面:驗證HR信息、單條推薦理由、多條推薦理由
- 形式層面:標簽的強弱、信息的布局
3. 設計方案
基于討論的方向,我們共輸出7版不同的方案(不包括線上版),兩兩對比控制了單一變量,從內(nèi)容有無、標簽的強弱、信息的布局等多個維度去反復驗證。具體方案如下:
七種方案,在保證單一變量前提下,兩兩對比組合出多組不同的對照組。
4. 線上測試
通常而言,測試時間至少要達到3天,最長不宜超過14天。測試前2兩天數(shù)據(jù)可能會出現(xiàn)大的波動而導致測試數(shù)據(jù)出現(xiàn)偏差,結合筆者經(jīng)驗,一般來講新方案數(shù)據(jù)趨于穩(wěn)定需要經(jīng)歷至少3天左右時間。
流量的路徑及切分的方式可以根據(jù)具體情況來靈活配置,就職位列表來講,基于Native的職位頁面因為開發(fā)成本以及發(fā)版的限制,顯然不適合做多版本的A/B測試,最終我們是在詳情頁推薦列表的H5頁面去做我們的A/B測驗,這樣的好處顯而易見,既規(guī)避了主路徑列表的風險,又能節(jié)省開發(fā)量快速上線。同時在流量的切分上,我們采用了1:1的切分方式,以保證樣本的平均。
5. 分析結果
方案在上線之后,我們要及時的收集整理我們的測試數(shù)據(jù),將所有方案數(shù)據(jù)和指標進行對比分析,基于結果,選出其中更優(yōu)秀的方案以達成設計目標。
基于對職位列表數(shù)據(jù)分析,在職位列表場景下,我們也看到一些結論:
- 職位HR信息的露出對用戶的決策起到了正向的作用。
- 帶有單條推薦理由的帖子用戶的投遞率更高。
- 左對齊布局樣式比左右對齊布局轉化率要高。(職位列表場景下)
- 淺色標簽相對于重色標簽轉化略高。(職位列表場景下)
- 展露職位hr信息+單條推薦理由+左側布局頭投遞率最高。
經(jīng)過多方案的對比,我們最終確定了最優(yōu)方案,經(jīng)過驗證的職位列表推全到了大類頁,同樣帶來了不錯的數(shù)據(jù)轉化。
04 A/B測試的局限性
A/B測試的方法適用于諸多類型的設計問題,但它并不是完美的,有其自身的局限性。
首先A/B測試只呈現(xiàn)出了結果,而不會為你揭示出現(xiàn)結果的原因。你可以通過AB測試驗證哪些元素會影響你的設計結果,但卻無法通過A/B測得知這些不同元素有不同結果的原因,A/B測也無法反饋有關用戶行為的具體細節(jié),并不能幫助你作更多、更長遠的決定。②
A/B測更多的是解決當下哪個方案“更優(yōu)“而不是“最優(yōu)”的問題,這就需要我們根據(jù)更多的數(shù)據(jù)分析,結合更多的重復試驗來最終推導出原因。
05 結語
誠然,A/B測可以快速驗證出當前階段更優(yōu)的設計方案,從而降低新方案帶來的不確定性。但是,我們應同時看到A/B測的局限性,A/B測試結果不應該作為評判設計作品好壞的標準。A/B測更大的價值在于通過測試結果來發(fā)掘問題,改進我們的設計方案進而提升產(chǎn)品體驗。
參考文獻:
- 百度百科-AB測試
- Tubik Studio-想驗證你的設計?最簡單最實用的A/B測試幫你搞定 @陳子木
作者:王書偉,視覺設計師
作者:王書偉,視覺設計師本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@58用戶體驗設計中心(微信公眾號@58UXD),作者@王書偉
題圖來自pexels,基于CC0協(xié)議
- 目前還沒評論,等你發(fā)揮!