起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識用AB實驗分析個人中心的首頁改版
由于電商APP的大改版，所以個人中心的首頁也在改版隊伍中。為了更加準確地找到首頁改版的關鍵點，筆者采用了AB實驗的形式，逐項通過各項數據指標進行分析，確定新版本改版效果。
報告內容：
分析報告面向的角色是產品經理，挑選的分析場景是經常遇到的產品優化中的效果驗證，使用的分析工具包括友盟+移動統計（U-App AI版）、內部數據產品。
文章結構：
- 項目背景
- 實驗期監測
- 數據復盤
- 迭代方向
以下數據均作特殊（脫敏）處理，非真實數據，僅供分析落地參考。
一、項目背景
為配合電商App的大改版，上級也對個人中心的界面風格提出新的要求，因此也提出個人中心首頁改版的要求。
1.1 改版分析
個人中心首頁作為信息分流類頁面，核心是快速將用戶導航到所需的的功能模塊。
其次，除了導航到不同的功能模塊，還提供商品推薦、引導郵箱驗證等內容（重點在于效果復盤，前期需求分析不做贅述）。
因此可以根據頁面的功能定位及現有提供的功能，制定本次改版目標。
1.2?改版目標
（1）優化個人中心首頁的功能導航，使用戶快速找到相應功能板塊，降低個人中心的平均停留時間。
（2）推薦產品改為鋪開展示，增加個人中心首頁推薦位產品曝光量，提高個人中心首頁推薦位的交易量。
（3）郵箱驗證新增積分獎勵提示，促使更多用戶完成郵箱驗證，提高用戶郵箱驗證數。
1.3?實驗方式
新舊版個人中心首頁同時在線，通過分流工具進行流量劃分，保證實驗中的新舊樣本數量基本一致。
1.4 實驗時間
2018年11月16日-2018年11月29日
1.5?實驗樣本
舊版會話數：500000；新版會話數：499999
頁面數據的對比是兩個版本同期在線，相近樣本數量下的數據表現。
交易數據的對比是改版前后新舊版本推薦位交易次數對比。
二、實驗期監測
AB實驗期間，會根據既定的改版目標，重點監控AB版本核心指標的對比情況，以便調整AB實驗的分流策略。
為保證初期分流比例能使AB版本的測試會話數足夠多，避免因基數過小出現對AB實驗結果的誤判，根據個人中心首頁近一個月的流量情況，設定初始實驗流量比例為20%。
（即假設平均每日訪問個人中心首頁的會話數有100000，那么20%的比例參與實驗，每個版本每日分到的會話數就都是10000左右）。
2.1 平均停留時間
功能路徑：用戶洞察-事件分析-新建-頁面訪問路徑
對應指標名：平均訪問時長
指標含義：統計日期內，用戶對該功能頁面的平均使用時長情況；平均停留時間的大小本身并無好壞之分，根據具體場景評估平均停留時間大小的影響。
（以文章頁面為例，平均停留時間可能是越大越好；而對于導航類頁面，用戶能多快就多快找到自己想要的東西，平均停留時長是越小越好。）
2.2 退出百分比
功能路徑：基礎看板-功能使用-頁面訪問路徑
對應指標名：跳出率
指標含義：統計日期內，該功能頁面是否會導致用戶退出使用產品；退出百分比的大小本身并無好壞之分，根據具體場景評估退出百分比大小的影響。
（以商品頁面為例，退出百分比是越小越好，該類頁面的作用還是在流程指引上，并不是流程的終點，要盡可能避免造成用戶退出。
而對于支付完成頁面，用戶已經達成既定交易轉化目標，用戶可能會退出產品，退出百分比是越大越好。）
2.3 交易次數
功能路徑：基礎看板-功能使用-自定義事件。
前置工作：在后臺注冊后，然后在后臺成功注冊后再進行埋碼，將“交易成功”作為事件埋點。
操作：點擊對應事件的“查看”操作，即可進行事件的趨勢分析。
2.4 郵箱驗證數
同2.3，根據AB實驗情況，效果達到預期優化方向，因此在后續時間里，逐步放大實驗流量比例。過程中效果也依舊達到優化方向，直至完全放量，換下舊版本，換上新版本。
三、數據復盤
在全流量替換舊版本、上線新版本后，還需要監測新版本效果一段時間。在這里選取了兩周作為效果觀察期，與實驗前數據進行對比校驗。
效果觀察期間，數據反饋情況依舊達到優化方向。因此，本次實驗順利完成，為便于后期迭代，下面進行改版的數據復盤。
3.1 數據概況
平均停留時間、退出百分比、郵箱驗證數：數據取自U-App AI版，對比時間段為11.16-11.27。
交易次數：數據取自自研數據系統，對比時間段為11.05-11.13與11.19-11.27；28、29號數據由于樣式發生變化，所以不納入計算，已修復。
實驗說明：采用的是自研數據系統的AB實驗功能，實驗的新舊樣本數量相近，不考慮基數造成目標次數的差異問題。
從上面數據來看，已滿足改版的三個目標：
1. 優化個人中心首頁的功能導航，使用戶快速找到相應功能板塊，降低默認頁的停留時間。
從目前數據看，新版默認頁平均停留時間為12.0s，相較舊版的18.0s降低了27%；同時頁面退出百分比也降低35%，下降為2.00%。
說明改版在降低用戶頁面平均停留時間的同時，也并未造成更多用戶退出網站，反而是促使更多用戶持續訪問網站，達成改版目標。
2. 增加個人中心首頁推薦位產品的曝光量，提高默認頁推薦位的成單量。
從目前數據來看，新版默認頁交易次數為4,275，相較相鄰周期舊版的交易次數3,340次提高了28%；達成改版目標。
3. 郵箱驗證新增提示，促使更多用戶完成郵箱驗證，開啟積分模塊。
從目前數據來看，新版默認頁郵箱驗證數為3,755，相較舊版的郵箱驗證數735次提高了511%，達成改版目標。
3.2 頁面數據分析
3.2.1 訪問情況
從上面二維表來看，在自研數據系統的控制下，參與實驗的新舊版UV數相近，但PV數出現較大的差異：在相近的UV數下，新版的PV數比舊版的要高出13.04%，平均瀏覽量達到3.45。
這說明參與新版實驗的用戶會比舊版實驗的用戶更高頻使用用戶中心，促進用戶中心模塊的用戶活躍度提高。
功能路徑：基礎看板-功能使用-頁面訪問路徑。
對應指標名：PV對應“訪問次數”，UV無對應指標。
指標含義：PV即表示頁面的訪問次數，UV表示頁面的訪客數，但這里缺少了頁面的UV統計，反應不了訪客對頁面的使用頻率。
例如注冊頁面較平時的平均訪問次數暴漲，可能是注冊流程存在流程使用障礙，如注冊成功返回不成功，引起用戶頻繁刷新，可能導致UV不變，但PV暴漲。
3.2.2 頁面質量
由于個人中心首頁是定位于個人中心功能導航，所以在評判個人中心首頁的效率上，是從停留時間越短越好的角度出發（一定范圍內）。
從上圖看平均停留時間：頁面平均停留時間波動比較大，但新版個人中心首頁的平均停留時間大多時候都是比舊版的平均停留時間低，所以新版個人中心首頁達到了降低頁面平均停留時間的目標。
從上圖看退出百分比，可以看出頁面的退出率也是波動比較大，其中新版個人中心首頁的退出百分比也是大多時間低于舊版的退出百分比。
這說明新版個人中心首頁為引導用戶進一步訪問網站做出更大貢獻，從而其它頁面也得到更多的訪問；另一個角度，在降低頁面平均停留時間的同時，也并未造成更多用戶在該頁退出網站。
從上圖看頁面跳出率，可以看出：用戶在個人中心首頁進行著陸時，新舊版本的數據表現基本一致，新版本并不能有效解決用戶著陸跳出的情況，跳出率一般反映著陸頁對用戶的吸引力，促使用戶進一步訪問網站。
可從下面幾點考慮下個版本的迭代：
1. 個人中心首頁并不是常規用戶的著陸頁，可從這些用戶的來源入手，為什么在用戶中心著陸，再就來源進行分析；可能是站內用戶重啟會話的當前頁面，但沒繼續訪問就關掉頁面了。
2. 作為著陸頁，用戶讀完后，是不是沒有引導用戶進一步訪問頁面或者用戶沒有找到他想要的東西；同時，如果考慮引導新增，需要考慮個人中心首頁本身定位于功能導航頁面。
（暫不支持提供跳出率評估落地頁效果，跳出率統計來自內部自研的數據系統。）
3.2.3 事件觸發
目前網站的注冊是沒有經過郵箱驗證的環節，只要是合乎格式的郵箱就能順利注冊成功，因此可能存在非用戶使用的郵箱，加大我們對用戶區分的難度。
同時，個人中心的積分模塊是需要郵箱驗證才能開啟。在新版的個人中心首頁中，新增了郵箱驗證的獎勵積分提示，期望讓更多用戶去完成郵箱驗證操作，上圖統計的是用戶點擊郵箱驗證的情況。
可以看到：新版郵箱驗證數遠高于舊版郵箱驗證數，伴隨實驗流量的加大（23號調至50%），新舊版的驗證數對比越來越明顯。
截至29日，同樣實驗樣本，新版郵箱驗證數達3,755次，高出舊版郵箱驗證數511%。
3.3?交易數據分析
交易次數對比的是實驗上線星期前后9天的數據對比，采用的是星期對比（比如19日是周六，那對比的也是相鄰最近的周六），排除星期單量的周期變化帶來的影響。
可以看：在流量小初期，新舊對比還不是特別明顯，在23號加大實驗流量后，新舊間的交易次數對比就越來越明顯。
截至27日，對比11.05-11.13與11.19-11.27的交易次數，新版交易次數達4,275次，高出舊版交易次數28%。
3.3.1 推薦位點擊情況
從上面二維表來看，實驗上線星期前后9天，新版較舊版增加了14.00%的推薦點擊UV及12.25%的推薦點擊次數，從而促使更多用戶進入推薦轉化，促成更多的訂單。
下面我們來拆解不同推薦位的點擊情況：
可以看到，推薦位“猜你喜歡”及“秒殺”的點擊情況較舊版都有明顯增長，其中“猜你喜歡”增長最為明顯，UV和次數分別達到了31.12%、35.44%。同時，“歷史瀏覽”呈現下降的趨勢，屬于負增長。
結合推薦位的位置考慮，“猜你喜歡”是屬于第一屏，不需要切換即可查看，因此可以推測產品展示方式改為鋪開展示后，雖然產品的曝光得到增長，但是也僅限第一屏的推薦位?；凇安履阆矚g”的點擊基數大，所以也讓整體推薦位的點擊次數得到增長。
同時，我們也發現：第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，從而造成非第一屏推薦位（即需進行Tab切換的推薦位）的點擊發生明顯下降。
涉及對交易數據的維度拆分，采用的是觸點歸因（即分清每個位置實際帶來的交易轉化，而不是指經過這個路徑或操作的用戶轉化，如Banner實際銷售效果、文本鏈接實際銷售效果、活動頁面實際銷售效果）。
在這一塊，友盟+提供的產品尚未滿足對觸點歸因的支持，因此涉及對維度拆分分析的，采用自研數據系統，下同。
3.3.2 推薦位交易情況
從上面二維表來看，實驗上線星期前后9天，新版較舊版增加了14.22%的推薦交易UV及27.40%的推薦交易次數，促成更多的轉化交易。
下面我們來拆解不同推薦位的交易情況：
從上面來看，“秒殺”在改版過程中未做調整，只做了UI界面改版，可能是秒殺商品的折扣力度問題，引起數值波動異常。
我們主要分析“歷史瀏覽”及“猜你喜歡”兩個推薦位，結合前面3.3.1的分析，我們可以看到“猜你喜歡”交易的增長速度和點擊的增長速度相近，符合預期中伴隨點擊越來越多，成交也越來越多。
同時，“歷史瀏覽”的交易下降比例相較點擊卻低很多，而交易UV與點擊UV的下降比例也相近，推測可能是有用戶多次購買，從而造成交易下降比例不符預期。
3.3.3 推薦位轉化情況
從上面二維表來看，實驗上線星期前后9天，新舊兩版轉化對比來看，UV的交易轉化率基本不變，次數的交易轉化率有13.67%的提高，可以推測新版促成了用戶的多次交易行為。
下面我們來拆解不同推薦位的轉化情況：（僅拆解UV的轉化情況）
“秒殺”在改版過程中未做調整，只做了UI界面改版。也是主要看“歷史瀏覽”及“猜你喜歡”的轉化情況，可以看到“歷史瀏覽”的轉化率（4.65%）遠高于“猜你喜歡”的轉化率（2.09%），同時“猜你喜歡”的轉化率并未因曝光增長而得到大幅提升。
四、迭代方向
4.1 跳出率優化
（1）用戶中心并不是常規著陸頁，可從用戶來源入手，為什么在用戶中心著陸？再就來源進行分析；可能是站內用戶重啟會話的當前頁面，但沒繼續訪問就關掉頁面了。
U-App AI版可查看用戶訪問路徑，但存在不能就路徑某個環節具體分析，拆分出站外引流和站內引流入口的數據情況，按照場景去分析頁面的跳出情況，現有整體路徑分析的入口如下：
基礎看板-功能使用-頁面訪問路徑
（2）作為著陸頁，用戶讀完后，是不是沒有引導用戶進一步訪問頁面或者用戶沒有找到他想要的東西。同時，如果考慮引導新增，需要考慮默認頁本身定位于功能導航頁面。
4.2?交易次數優化
（1）在鋪開產品展示時，第一屏的推薦位會得到更高曝光，同時也會減弱用戶對其它推薦位的注意力，造成非第一屏推薦位的點擊發生明顯下降。
（2）結合3.3.1及3.3.2，我們知道“歷史瀏覽”的點擊和交易都是僅次于第一屏的“猜你喜歡”，但“歷史瀏覽”的轉化率卻遠高于“猜你喜歡”的轉化率（兩倍多）。
因此，我們是否可以考慮將“歷史瀏覽”作為第一屏，預期可以大幅提高我們在這的交易次數。
相關閱讀
作者：JM，從事互聯網電商行業4年，其中3年數據產品經驗，從0到1規劃過訪客日瀏覽量超千萬的流量分析系統。
本文為「人人都是產品經理」社區和友盟＋聯合舉辦的“2019「友盟杯」數據分析大賽”中獲獎作品，未經作者及平臺許可，禁止轉載
本文部分數據有脫敏處理，非全部真實數據
題圖來自Unsplash，基于CC0協議
“獲獎內容”哈哈哈哈
沒有做顯著性檢驗
挺好噠~
真棒??