如何進行平價版的體驗度量實踐?
用戶體驗可以度量嗎?其實,度量的模型和對應指標有很多,但實際操作中,往往會遇到許多困難,比如:準備成本、數據分析資源不足、追溯周期過長、價值優先級靠后等等,因而我們也很少見到真正實際驗證的案例。去年,作者在一個小型工具產品上進行了一次較為完整的用戶行為度量的實踐,提煉出一套落地成本更低,對業務價值更加顯性的行為度量方式。希望對你有幫助。
前言
關于用戶體驗是否可以度量的命題,之前看過很多關于體驗度量相關的文章和研究,度量的模型和對應指標層出不窮。但實際操作中,往往因為涉及較多數據基建的工作,準備成本高,數據分析資源不足,追溯周期過長,價值優先級靠后等原因而中道崩殂,真正實際驗證的案例也較少對外分享,一度出現人人都能說出幾個模型名稱,幾個體驗指標,但是都對其能對業務起到的價值諱莫如深的現象。
去年我們在一個小型工具產品上進行了一次較為完整的用戶行為度量的實踐,提煉出一套落地成本更低,對業務價值更加顯性的行為度量方式。
本次分享僅做拋轉引玉,也是對整個過程的思考推導做一次梳理和記錄。
1. 奢侈全埋點 v.s. 平價核心路徑——節省技術成本
在理想狀態,如果用戶在產品中的所有行為都有埋點,即有整個產品的全埋點,我們理論上就可以還原出整個用戶操作路徑的流向,然后從全局中可以一目了然判斷出不符預期或有問題的行為數據流向。但現實產品中,尤其是工具產品,用戶的操作集中在非線性的自由畫布上,因數據成本極高和開發資源消耗大,全埋點的實施過于奢侈。
退而求相對平價做法,比起全埋點,我們選擇對「核心路徑」進行定向埋點。定義重點關注的關鍵路徑,以縮小數據范圍。
打個比方,就像是在一攤磁粉中,放一根磁條,靠近(相關)的會被更緊密的吸附(篩選)。減少了遍歷用戶所有行為數據的計算量,從而降低成本。
那么需要達成共識的前提是核心路徑的定義:
用戶在使用后可以理解到產品的定位和價值的功能點的串聯。
我們可以簡單理解為,在產品定位沒有大偏差的前提下,能夠體驗完產品預設的核心路徑的用戶可以更容易理解到產品的定位和價值,即更容易轉化成活躍留存用戶。而有很大一部分的用戶流失,正是來自于沒有能夠成功體驗完核心路徑,即沒能夠充分感知到產品價值。
沒有體驗完的原因可能來自于沒有發現該功能,也可能因為功能可用性太差以至于放棄完成等等。
故通過對核心路徑架設監控的指標,監測用戶的實際行為數據表現,來識別核心路徑和路徑上各個觸點功能的健康度和問題點,作為對整體用戶留存提高的貢獻指標的重要一環。
2. 理論側:體驗指標轉譯業務結論——節省溝通成本
2.1 單指標模型的困局
本次使用到的核心體驗指標:(此處為白話釋意便于快速理解,若感興趣請關注系列續篇,將會闡明每個指標背后的數據采集和定義。)
- 觸達率: 用戶是否能注意到并使用功能
- 任務完成率:用戶是否能順利完成任務
- 跳出率:該步驟作為用戶在完成任務時最后一步的可能性
- 任務完成步驟:用戶完成步驟的分布
- 任務完成時間:用戶完成任務的時間分布
根據每個指標單獨看的話,報告的結論可能會是例如“全量用戶在核心路徑A的任務完成率為67%”,而這并不算是一個有效反饋,因為不足以啟發業務側產生深入的機會點發散,同時也會產生大量的溝通解釋成本。
故僅是描述單個指標的數據表現是不夠的,需要得到更深入的結論并轉譯成業務指導意見。我們歸納了兩種方法,進行進一步的指標數據分析,同時能讓業務能夠自助解讀指標數據含義。
2.2 方法一:分層對比
單個指標的數據的絕對高低沒有意義,例如“數據A功能入口觸達率43%”,是無法獨立得出有效結論的,需要通過比對才能看出相對高低。
分層對比指的就是在比較指標的時候借助參照進行比較,常用的如新老用戶對比、達到同一個目標的相似路徑對比,或者借助標桿如活躍用戶來進行比對,從而得出結論。
下表為一些通用型的結論方向:
2.3 方法二:交叉對比矩陣
方案一是我們常見的用法,但是在真正處理數據時,我們發現交叉對比另一個指標的高低,可以結合另一個視角,得出更深入的結論。我們整理成矩陣的形式進行呈現,方便對照查看。其中對應的結論有一定的普適性,但同時也需要結合具體業務情況進行進一步的剖析。
3. 實踐側:前期預設后期驗證——節省分析成本
在多條核心路徑會包含多個觸點的基礎上,如果想用枚舉的辦法去建立數據看板,從而得出業務結論的話,其實仍然發散性過強工作量龐大。從設置指標到埋點再到數據獲取和分析有一定的時間周期,在埋點之前能夠借鑒科學實驗設計好整個實驗思路,能對執行的進度和之后能夠得到的反饋有更強的掌控,避免在輸出結論的時候全是散點。
所以我們在具體實踐的時候借的鑒了實驗的流程步驟:定義路徑,建立猜想,數據驗證,得出建議。通過猜想和驗證的形式來收斂數據分析的方向從而節省分析的資源投入。
定義路徑:拆解業務目標到體驗目標,在體驗目標中找出具體需要關注的核心路徑。并檢查埋點是否到位。
建立猜想:基于理論模型進行多條猜想的建立,如果核心路徑的A指標出現了B1的數據表現,即可能是C1問題。如果核心路徑的A指標出現了B2的數據表現,即可能是C2問題
數據驗證:拉取一定周期內,某一用戶層在該核心路徑和路徑的各個觸點上的數據,并建立數據看板。
轉譯建議:對比數據,抽象出數據表現,看猜想是否成立,結合業務給到建議。
對所有拆分出來的核心路徑,重復以上步驟,從而進行問題的挖掘和給到業務實際產品和設計策略建議。
4. 業務具體實踐案例
本次業務主體,以下簡稱為A工具,以下舉例部分實踐,業務數據簡化處理。
4.1、目標拆分&定義路徑
業務希望提高用戶留存的目標,在A工具中等價的用戶行為是,用戶拖入的有效素材的增多和制作的有效方案變多,可繼續拆分為兩個方向:
- 方向一:提高置入素材路徑本身的任務完成率、減少任務步驟數(盡量減少用戶用戶在使用基礎功能時的摩擦)
- 方向二:提高亮點功能的觸達率和任務完成率(亮點功能是能夠吸引用戶進入使用該工具,可能成為用戶轉化的契機的功能,如Sketch之于PS的組件功能)
下述過程以方向二舉例。
需要分析的路徑是「進入工具」-「置入素材」-「點擊入口」-「退出工具」
4.2、建立猜想
需要跟橫向比較每個亮點功能的入口觸達率,和使用該亮點功能的路徑的任務完成率。符合預期的亮點功能會存在高頻使用(觸達率高)和使用門檻不過高(任務完成率高)的特點
猜想:
- 若亮點功能的觸達率和從入口到應用完成的任務完成率都較高,說明該功能較健康,可以暫緩優化,值得繼續推廣。
- 若亮點功能的觸達率和從入口到應用完成的任務完成率都較低,說明路徑的入口有問題,整個路徑的可用性有問題,可以結合不同觸點的跳出率看具體問題最大的觸點,逐步優化。
- 若亮點功能的觸達率較低,但是能從入口到應用完成任務完成率高,說明該功能使用路徑上沒有問題,可以提高入口的曝光看任務完成率是否有增長。
- 若亮點功能的觸達率較高,但是能從入口到應用完成任務完成率低,說明該功能使用路徑上有問題,入口的可見性高,可結合路徑中的所有觸點跳出率分析,逐步優化降低跳出率。
4.3、數據驗證&得出建議
數據結果:
- 一鍵風格功能入口觸達率橫向比較其他功能較高,但仍有提升空間
- 一鍵風格功能從入口到應用完成的任務完成率較低,繼續分析跳出率
- 在展開面板步驟的跳出率最高
猜測用戶不能通過現有的面板展示形式理解功能作用,故沒有進行下一步的應用,可以在界面展示形式上做優化
一鍵風格功能在優化后,UV環比增長257%,功能留存增長70%
以上為部分業務建議,該步驟需要深入業務,數據的解讀需要根據具體情況具體分析。
5. 小結
具體的體驗指標雖然有作為工具的特殊性,但是基本思路可以遷移,用核心路徑埋點替代全埋點節省技術成本,用分層對比和交叉分析矩陣方法節省溝通成本,用先假設后驗證的形式節省分析成本。
我們也期望能夠進一步的挖掘和設置其他體驗指標,來擴展結論矩陣,將體驗指標的數據表象,轉譯成業務組同樣能夠理解的更豐富的業務結論,從而在價值上進一步深化。
作者:阿檀,公眾號:群核科技用戶體驗設計
本文由 @酷家樂用戶體驗設計 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于CCO協議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!