停止無效實驗,產出高質量實驗假設(上)
想提高AB實驗的質量嗎?本文將揭示如何通過深入的數據分析與用戶洞察,產出高質量實驗假設,停止無效的實驗嘗試。
一、實驗想法的產生
1. 避免錯誤的實驗出發點
很多人在做實驗時,往往從自己的想法出發,覺得設計難看想做更好看的,覺得按鈕應該是紅色不是藍色,或者覺得競品的某個功能不錯也想測試一下。
但正確的做法應該是從用戶和業務問題出發,比如用戶反饋某個流程太復雜,或者數據顯示某個關鍵指標下降、轉化率很低等。找對實驗的出發點是極其重要的第一步。
2. 實驗想法的來源
1)用戶和業務問題出發
實驗想法應該從解決用戶和業務的實際問題出發,而不是主觀臆測。
比如用戶反饋稱訂單提交流程太長影響體驗,數據也顯示這一步驟的流失率很高,這就是一個明確的優化方向。再比如數據顯示搜索準確率較低導致用戶滿意度下降,這也是一個亟待解決的問題。
2)關鍵指標分析
另一個實驗想法的重要來源是關鍵指標的變化。
如果一直以來比較穩定的指標如激活率、留存率、轉化率等突然出現了明顯下滑,或者長期低于競品水平,這很可能意味著產品設計存在問題,值得深入分析原因并設計實驗進行優化。
相反,如果關鍵指標表現一直很好,可以考慮做一些更長期的實驗,嘗試引入新功能、新體驗。
3)參考最佳實踐
除了通過定量定性數據分析尋找洞察,參考相關領域的最佳實踐也是一個重要的思路來源。
比如做注冊流程優化,不妨先去看看業內卓越的產品是如何設計的,總結他們的特點,再結合自身產品特點,形成優化方案。
又比如想做品類頁面重構,可以先研究其他產品的同類頁面,分析哪些模塊提升了用戶的購買意愿,哪些模塊可能分散了用戶注意力,再對標找尋差距和機會點。
二、高質量實驗想法的標準
1. 實驗結果的顯著性
高質量的實驗想法,往往能帶來顯著的結果提升,實驗成功率高。
比如測10個實驗有4-5個是成功的,而不是大多數都是失敗的。
2. 實驗假設的數據支持
判斷實驗想法質量的另一個標準是,實驗假設是否有充分的數據支持。
一個好的實驗假設,往往建立在大量的數據分析基礎之上,能夠用數據解釋為什么會出現當前的問題,以及為什么認為這個實驗能夠解決問題。
三、實驗假設的形成
1. 實驗類型與目標對應
1)單點轉化率提升
對于提升單個頁面或元素轉化率的實驗,主要使用定量分析計算轉化率、熱力圖、用戶分群等,定性分析包括可用性測試、問卷反饋等,最佳實踐有文案、設計、用戶心理學等方面的參考。
如”在行”app通過用戶調研發現,較長的課時數會降低用戶了解課程的欲望。于是他們嘗試去掉總課時顯示,最終使點擊率提升了500%。這一假設的形成正是源于用戶反饋的洞察。
2)全路徑轉化率優化
而漏斗或路徑轉化率的優化實驗,使用的分析方法與前者類似,只是多了漏斗分析、路徑設計等數據部分。
例如電商平臺斗牛想提高銷售額,在下單頁面加了一句”平臺鑒定通過再發貨”,結果下單率提升46%,支付率提升70%。
他們先明確了提升下單率的目標,然后通過用戶訪談發現擔心假貨是一大障礙,由此得出了添加品質保證有助提升下單的假設。
后來斗牛還把多步的結算流程合并,改為支付彈窗,使得支付轉化率比原來提高26%。這個想法是通過定量分析發現結賬漏斗流失率高,結合”漏斗步驟越少轉化率越高”的最佳實踐而形成的。
3)新功能或版本的測試
當要測試一個全新的功能或版本時,由于缺乏歷史數據參考,需要先盡可能收集潛在用戶的反饋,可以通過用戶訪談、問卷調查等方式。同時可以參考同類型功能在競品中的效果,結合自身的差異化定位,形成測試假設。
比如視頻網站愛奇藝在上線彈幕功能前,可以先研究彈幕在其他視頻網站的使用情況,再結合自身的清晰度、觀影氛圍的定位,測試彈幕的字體大小、透明度、開關等,以找到最平衡的設計。
2. 高質量假設的案例
1)Canva個人化上手實驗
澳洲公司Canva的產品是在線作圖軟件,它做了一個新用戶個人化上手的實驗——給新來的用戶提供了一些海報的模板,讓你們去選,然后再去做你們想做的海報。
這一個非常小的實驗發現這個功能本身的激活率提升了12%,同時每年給這個公司帶來了上百萬的美金的利潤。
這樣一個看上去不是很復雜的實驗,為什么結果這么好?他們是如何找到這樣一個高質量的實驗想法?
其實就是回歸剛才說的,從數據中去尋找洞察。
首先他的目標是提升新用戶的激活率,他們通過很多的定量分析就發現在所有開始使用產品的用戶中,使用海報功能是最多的,但是很多用戶開始使用海報功能之后沒有完成就流失掉了。
接下來他們又通過定性分析的方式去尋找原因,他們做了可用性測試,針對流失用戶和留存用戶做了問卷來進行對比。最終他們得到了一個洞察——來到 Canva使用海報功能的用戶,他們做海報的類型五花八門,有的是小學老師給他們班級演唱會做海報,有的是一個教堂想要做一個海報,有的是各種各樣其他的原因。如果用戶沒有找到一個合適的模板能夠馬上使用,他們馬上就走掉了。
市面上很多的產品都有個人化的上手流程,根據用戶的目標提供不同的服務。這樣的個人化的流程最佳實踐一般來說表現是很好的。
所以它結合數據和最佳實踐,最終形成了它的實驗假設——給用戶開發個人化的這個海報模板可以提升激活率,最終實驗結果證明了它的假設是正確的。
綜上,Canva就通過三步驟——明確目標+定量和定性分析的方式找到問題+參考最佳實踐,產生高質量的實驗想法。
2)滴滴快車營銷頁轉化率提升
滴滴想提升快車營銷頁的注冊轉化率,最終在新版本中突出了明確的價值主張”每天跑一單,油錢輕松賺”,整體設計也更加清晰,重點突出,明確引導用戶下一步行動。最終使注冊率提升了21%。
那滴滴是怎么產生這樣一個高質量的實驗想法?
滴滴去參考市面上的一些轉化率優化的最佳實踐——lift 模型,這是很多公司在進行轉化率優化中非常用的一個模型,它強調的就是你要給用戶一個清晰的價值主張,這是轉化率優化最重要的一個點,之后你要想辦法去提高相關性和清晰度。
相關性也就是整個用戶流程,用戶的針對性,整個漏斗每個步驟之間要一致,不能互相沖突。
清晰度是整個的設計文案,call to action 等等按鈕,每一個元素都要非常的清晰。
這兩件事兒,就是降低這個用戶的焦慮和注意力分散,不要給他太多的信息,太多的選項。
四、實驗設計的策略
1. 數據分析的深入
1)三要素的綜合利用
定量數據能幫我們發現問題所在,如某個漏斗的轉化率很低;
定性數據能幫我們了解問題發生的原因,如轉化率低是因為用戶覺得操作太復雜;
最佳實踐則提供了優化思路,如加個進度條讓用戶有明確預期。
所以我們要有意識的去應用定量分析、定性分析、最佳實踐這樣三種數據去給我們的假設提供證據。
2)多輪數據分析提升假設質量
有時我們需要發現問題,分析數據得出初步假設,然后再進行一輪分析排除一些假設,發現質量更高的假設,多輪分析有助不斷提高假設的質量。
比如先從整體數據發現問題,形成初步猜想,然后深入分析具體受眾、場景,修正假設。接著通過用戶調研驗證假設,必要時再收集新的數據佐證。層層深入、反復論證,不斷提高假設的準確性。
2. 最佳實踐的應用與挑戰
在應用最佳實踐時,要根據自身的獨特情況,靈活調整,甚至做一些創新的嘗試。
比如前面提到”漏斗步驟越少轉化越高”是一條最佳實踐,但也要考慮步驟簡化后是否影響了信息的完整性。
美國房產網站 Redfin 發現,多步注冊流程問了用戶很多信息,轉化率反而更高,因為用戶覺得提供了這么多信息,就能得到更個性化的服務。
這個案例說明了過于迷信最佳實踐的風險。最佳實踐來源于過去的經驗總結,但未來的情況可能發生變化,用戶需求可能與以往不同。盲目追求最佳實踐,反而可能錯失機會。
所以,深入的數據分析和深刻的用戶洞察,才是提出高質量假設的核心關鍵。
五、提升轉化率的最佳實踐
最后總結一下提升轉化率的最佳實踐,大概可以分為四個方向:
- 提升注意力
- 提升用戶的動力
- 降低用戶的阻力
- 考慮特殊的場景
各種各樣的最佳實踐其實都是可以從這四個方向去歸類思考。
1. 注意力的提升
提升用戶的注意力,可以采取的最佳實踐包括:重要信息放在顯著位置、加大重點信息的字體、圖片吸引眼球、利用留白突出重點等。
比如可以把按鈕設計得更大更醒目,將折扣信息用更大的字體標出,或者在文案前加上表情符號吸引注意??傊層脩舻谝谎劬湍芸吹阶铌P鍵的內容。
2. 用戶動力的增強
增強用戶的動力,常見的最佳實踐有:使用社交證明、制造稀缺感、利用返利或優惠、強調產品價值等。
比如在產品評價中展示用戶的好評,在鍛煉App中展示其他人的鍛煉成果;或者顯示”限時折扣”、”僅剩3件”等字樣;再或者承諾”買二贈一”、”分享立減20元”等。目的都是激發用戶的購買欲和行動力。
3. 用戶阻力的降低
降低用戶的阻力,可以遵循的最佳實踐包括:簡化流程、減少填寫項、提供客服支持、提供退款保證等。
比如簡化注冊流程,只要求用戶填寫最基本的信息;或者在表單旁提供填寫樣例,方便用戶參考;再或者在結算頁提供在線客服,實時解答用戶疑慮;以及承諾”7天無理由退換”,讓用戶放心購買。這些做法都能有效降低用戶的心理和操作障礙。
4. 特殊場景的考慮
除了以上三點之外,還要考慮特殊場景下轉化的最佳實踐。
比如在移動端要考慮手機屏幕的限制,盡量減少輸入,放大按鈕;在逢年過節時要結合節日氛圍,推出應景的活動;面對不同地域的用戶,要考慮他們的文化習俗差異;面對老年用戶,要使用更大的字號,更簡單的語言??傊鶕嶋H情況,對最佳實踐做出調整。
綜上,只有真正從用戶視角出發,充分挖掘定量和定性數據,并根據自身情況靈活借鑒最佳實踐,才能形成高質量的實驗假設,產出最符合用戶需求、最有益于業務增長的優化方案。
這需要一個不斷試錯、持續迭代的過程。但長期堅持下去,必將帶來轉化率和各項關鍵指標的顯著提升,給產品和運營帶來長足進步。
本文由 @小黑哥 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!