6000字超全解讀:B端云產品使用體驗度量模型
如何去評判或衡量一個B端產品的架構方案設計是否合理?或許我們可以尋找適合B端產品的體驗度量方案,并將B端產品使用體驗作為評判依據之一。那么,常見的B端云產品常用的體驗度量模型有哪些?來看看本文的總結分析。
B 端產品使用體驗是衡量 B 端產品架構方案設計是否合理、產品是否好用的一個重要依據,也是提升產品競爭優勢的重要因素。且 B 端產品具有鏈路冗長、操作復雜等特點,好的體驗設計有助于降低用戶上手門檻,提升用戶體驗。因此,度量 B 端產品的使用體驗尤為重要。
但由于業務特征的差異,C 端產品較為成熟的體驗度量方案很難直接搬用于 B 端產品,「尋找適合 B 端產品的體驗度量方案」成為一個難點。
基于上述背景,本篇文章將介紹一些B 端云產品常用的體驗度量模型,希望能為大家提供實踐參考。
一、產品體驗度量模型概覽
行業中現有的 B 端產品體驗度量方案有哪些呢?以指標數據的主客觀屬性為依據,可將體驗度量方案劃分為客觀度量、主觀度量和兼顧主客觀度量三大類型。
客觀度量主要是通過數據埋點監測用戶行為數據,典型模型/指標如 PULSE 模型、活躍用戶數、留存率、ARPU、LTV 等;
主觀度量主要是收集用戶對產品的主觀評分,典型模型/指標包括 NPS、費力度、客戶滿意度指數、KANO 滿意度模型等;
主客觀兼顧度量則是結合用戶行為數據和主觀打分得到分值,并把分值劃分成不同等級作為參考,典型模型包括 UES 模型、HEART 模型、GSM 模型、PTECH 模型等等。
圖| 現有體驗度量模型概覽
從該分類可看出,互聯網大廠目前使用的度量模型大多兼顧主客觀數據,能夠更全面地量化產品的使用體驗。因此,本篇文章介紹的體驗度量模型將聚焦于該類型,主要側重于UES 模型的介紹,同時會簡單地介紹下谷歌的HEART、GSM 模型和螞蟻金服的 PTECH 模型。
二、UES理論模型介紹
1. UES 簡介
UES(User Experience System)是阿里云設計中心通過多年設計實踐沉淀下來的云產品使用體驗度量系統,它不僅是一套方法論,更是一套可運行的體系,由三大部分有機構成:
一是包含五大維度的 UES 體驗度量模型;
二是包含易用性測試工具和數字化管理平臺的體驗工具集;
三是體驗問題從發現到閉環的體驗管理機制。
由此可見,除了確定模型指標,UES 還進一步完善了基于 UES 模型的數字化管理體系,包括工具化的度量產品、系統化的管理機制(本篇文章主要介紹的是理論化層面的 UES 體驗度量模型)。
圖| UES 構成
度量產品體驗的指標有很多,但整體可分為三大類,分別是主觀態度、客觀行為和系統表現,如下圖所示,從下至上,主觀性會越來越強。
圖| 體驗指標類型
2. UES 五大度量維度
UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務效率和性能5個度量維度,適用于技術類B端(云)產品的體驗度量場景。
圖| UES 模型五大度量維度
首先,衡量主觀態度的維度有三個:易用性、一致性和滿意度。
- 易用性是衡量產品使用體驗的核心維度,反映產品對用戶而言是否易于學習和使用。
- 一致性指多款產品間通用范式部分的一致程度。
- 滿意度反映用戶對產品或服務的期望被滿足的程度,且一定程度上反映用戶再次使用和推薦產品的程度。
其次,衡量客觀行為的維度為任務效率。任務效率反映用戶使用產品完成任務的準確性、完備性及相應的資源消耗程度。針對有明確任務或有固定使用流程的產品,通過比對用戶路徑和產品設計的理想路徑之間的差異,能夠幫助我們發現產品流程設計上的問題。
最后,衡量系統表現的維度為性能。性能反映用戶使用產品的流暢性和穩定性,影響用戶感知。
從整體上看,這些指標間并非相互獨立,而是相互影響、相互促進。比如說,易用性的提升可以促進任務效率的提升,降低學習成本,提升用戶對產品的滿意度;一致性的提高可以降低用戶的操作時長及錯誤率,進而提升任務效率和用戶的滿意度。而任務效率和性能的提升也能正向影響滿意度。
3. UES 指標體系
在五大度量維度的基礎上,UES 模型的每個維度均細分了相應的二級指標,且運用了多種度量方法、度量工具來度量指標,整體框架如下:
圖| UES 模型框架
易用性包含易操作性、易學性、易見性/清晰性三個子維度,主要通過易用性測試、啟發式評估等方法來度量。
一致性包含整體樣式一致性、通用框架一致性、常用場景組件一致性等三個子維度,主要通過啟發式評估來度量。
滿意度的度量方法主要有用戶訪談、問卷調研,采用的度量工具為可用性度量表、滿意度問卷。
任務效率包含功能使用率、任務完成率、任務完成時間、任務完成效率等子維度,需要通過用戶行為數據采集的數據監控方法來度量。
性能包含首屏渲染時間、頁面請求響應時間、API 請求響應時間、頁面請求成功率等維度,需要通過應用實時監控服務的性能監控方法來度量。
對于每一個細分指標的定義,下表給出了相應的解釋。但這些僅是比較普遍、通用的解釋,在應用中,應根據實際情況進行調整。比如說,對于滿意度的度量,SaaS 和 PaaS 產品考量的維度會有些許不同。衡量 SaaS 產品滿意度時可能會考量產品的智能化程度,衡量 PaaS 產品滿意度時可能還會考量產品的開發效率、開放能力等。
圖| UES 模型指標定義
4. UES 度量方法及工具
首先是易用性度量,UES 模型的易用性度量運作機制如下圖。度量方法主要分為面向專家的啟發式評估和面向真實用戶的易用性測試。這個過程中,需要由易用性專業建設組和業務線設計師、產品團隊共同參與。整體可分為三步走:
一是統一易用性度量的標準、行動指南,以指導易用性度量的全流程;
二是輸出專業的易用性度量報告;
三是通過系統化監控和專項改進進行閉環管理。
圖| 易用性度量運作機制
下表是啟發式評估和易用性測試過程中會運用到的易用性度量量表工具,主要是讓專家和用戶反饋使用這款產品的真實感受,對易用性的每個細分指標:易操作性、易學性、易見性的表現進行評分。
表|易用性度量表
接著是一致性度量,一致性的常用度量方法為專家評估法,其具體實施步驟如下:
第一步是組織評測人員:招募3~5人組成專家組。需注意的是,被評測產品的設計師需回避;
第二步是制定評測計劃:劃定評估的范圍,建議一次性評估的功能不要太多;
第三步則是實施具體評測:在評估過程中,各位專家需獨立完成,避免討論溝通;
第四步為召開評測會議:讓評估人員依次講述評估發現并進行互動討論;
最后是總結評價結果:將所有評估結果進行去重和收斂,輸出結論建議。
圖| 專家評估法實施步驟
在運用專家評估法度量一致性的過程中,所運用的度量工具表為一致性度量量表,主要是讓專家對產品整體樣式、通用框架、常用場景及組件的細分指標的一致性表現進行評分。
表|一致性度量表
然后是滿意度度量。通用的滿意度度量量表框架如下,主要是對產品功能的易學性、易操作性、費力度等進行評價,但實際應用過程中應根據所度量對象適當調整量表內容。
表|滿意度度量量表
任務效率為客觀行為數據,需通過數據埋點與采集,進行用戶行為分析得到相關原始數據,再根據指標定義公式計算相應的指標值。
性能度量指標為系統表現數據,可通過數據埋點或從系統后臺拉取數據,借助性能監控系統實時監控性能指標。企業可結合實際業務場景自行搭建性能監控系統,也可應用市場上成熟的 APM 類監控產品,如阿里云的 ARMS( Application Real-Time Monitoring Service, 應用實時監控服務 )。
圖 | ARMS 性能監控效果圖
5. 體驗評分
介紹完 UES 的指標體系及相應的度量方法及工具后,則到了最后一步:如何根據搭建好的指標體系及獲取到的指標計算出產品或功能的體驗得分呢?
整體的原理是:一級指標得分為其所包含的二級指標的加權平均值,而測評總分由一級指標得分加權平均得到。測評總分計算公式如下:
式中,S 為測評總分,ai為第 i 個一級指標的得分,Wi為第 i 個一級指標的權重,n 為一級指標的數量。
對于權重的確定,阿里對 UES 模型的權重設計為:易用性和一致性 0.3,任務效率和性能 0.1, 滿意度 0.2。
但對于面向大企業的B端產品,該權重不一定適合照搬。那么如何根據實際的體驗度量對象確定指標的權重呢?
表 | 指標權重計算方法
此處歸納了常見的指標權重計算方法,主要有三類:主觀賦權法、客觀賦權法和綜合賦權法。
- 主觀賦權法是基于決策者的經驗或偏好,通過對各指標重要性進行比較來賦權,比如專家評分法、優序圖法、層次分析法等;
- 客觀賦權法是從實際數據出發,利用各指標值所反映的客觀信息確定權重,比如熵權法、標準離差法等;
- 綜合賦權法則是將主觀賦權法和客觀賦權法相結合。
這里簡單介紹下實操性比較高的層次分析法和優序圖法。
首先是層次分析法,該方法常被運用于多目標、多準則、多要素、多層次的非結構化的復雜決策問題,特別是戰略決策問題。
其優點在于系統化、簡潔實用,且所需定量數據信息較少,但也存在缺點,比如說指標過多時,數據統計量大,且權重難以確定;特征值和特征向量的精確求法比較復雜。
該方法整體可分為三步:
一是基于問卷數據構造判斷矩陣。具體而言,由專家對同一層次內 n 個指標的相對重要性(兩兩因素之間)進行打分,標度范圍取 1-9 之間:
1 表示兩個指標具有相同重要性,3 表示兩個因素中,前者比后者稍重要,標度越高表示前者比后者的重要性程度越高。另外,若因素 i 與因素 j 的重要性之比為 aij,則因素 j 與因素 i 的重要性之比為 aij 的倒數。
根據相對重要性打分,即可構建判斷矩陣 A 。
第二步則是基于判斷矩陣計算權重,將矩陣 A 的各行向量進行幾何平均(方根法),然后進行歸一化,得到各評價指標權重和特征向量 W 。
最后一步為一致性檢驗。所謂一致性是指判斷思維的邏輯一致性(如當甲比丙是強烈重要,而乙比丙是稍微重要時,顯然甲一定比乙重要。這就是判斷思維的邏輯一致性,否則判斷就會有矛盾)。一致性檢驗是指確定不一致的允許范圍。通過一致性檢驗的權重值才是合理的。
可能層次分析法的權重計算和一致性檢驗原理比較復雜,但在實際應用過程中,可以利用市面上成熟的層次分析法工具來實現,如元決策的 yaahp 軟件,導入問卷數據,系統即可自動計算出相應的權重并進行一致性檢驗。
然后是優序圖法,該方法非常適合在參與評估指標數量較多(如需評估的指標超過5個)的情況下使用。當指標數量較多時,優序法的專家打分工作量相對較小,且簡單易實操。但該方法也存在一定的弊端,如未進行一致性檢驗或多輪驗證,權重數據的嚴謹性相對較差。
該方法整體可分為三步:
一是重要性打分,由每位專家獨立對問卷內各指標進行重要性打分,并計算出各指標所有專家打分的平均分。
二是指標重要性比較,通過各指標的平均分,將不同指標間的平均分進行兩兩比較,其中,分數相同的計為 0.5,相對較大的記為 1,相對較小的記為 0,并將各指標比較的每行分數相加,得到各指標的優序數(TTL)。
最后則是對 TTL 值進行歸一化處理,得到指標的權重值。
表|層次分析法和優序圖法優缺點比較
三、谷歌 HEART-GSM 模型介紹
HEART-GSM模型包括【5】+【3】兩個部分:5個用戶體驗度量維度和3個確定數據指標的步驟。
首先,代表5個用戶體驗度量維度的 HEART 模型由 Google 于 2010 年發表,是以用戶為中心的度量模型,涵蓋了用戶主客觀數據以及可用性指標,可用于大范圍的用戶體驗度量,五個維度分別為愉悅度、參與度、接受度、留存度和任務完成度。
- 愉悅度指的是用戶在使用過程中的主觀感受,主要包括可用性、易用性、視覺感受、滿意度、推薦意愿等維度;
- 參與度衡量的是用戶在產品/服務/功能中深度參與的表現,如訪問頻次、訪問時長、互動深度或強度等;
- 接受度是針對新用戶的維度,統計有多少新用戶接受了產品、功能,如特定時期內核心頁面的PV、UV,新功能的使用留存;
- 留存度是針對老用戶的維度,衡量現有用戶對產品的重復使用情況,常見指標如次日留存率、7日留存率等;
- 任務完成度指用戶在使用產品/服務/功能中能否順利完成目標任務的情況,包括任務完成率、任務完成效率、錯誤率等指標。
圖|HEART 模型五大維度
為了將這個抽象的度量標準應用于實踐,Google 又提出以“目標(Goal)——信號(Signal)——指標(Metric)”的拆解流程來定義 HEART 指標數據,讓使用該模型的產品團隊,可以根據用戶體驗目標和業務目標,完成數據指標的選擇,最終保證指標是服務于業務目標和用戶體驗的。
這三個大步驟又可細分為五個小步驟,首先是梳理業務流程,分析確定產品目標或者體驗目標,接著,結合度量維度的定義和目標選取與實際業務流程貼合的度量維度,然后是選擇可以顯示目標成功或失敗的信號,最后是從信號中提取適當選擇的數據指標,并選取相應的度量方法進行追蹤。
圖|GSM 拆解流程
整體而言,HEART 模型的C 端傾向較明顯,并不完全適用于 B 端產品的體驗度量,比如說,由于 B 端產品的業務性質,用戶使用產品后較難因為個人使用的體驗而在參與度、留存度及任務完成度上體現出差異。
圖 | HEART-GSM 模型優劣勢
可能會有小伙伴對信號跟指標的區別不太清晰,這里說下我的理解:
在 GSM 模型中,目標、信號、指標之間是承接的關系。確定目標從而判斷目標對應的信號,然后拆解為可量化的指標。信號是目標的分解,一個目標可以分解為多個信號(信號也可理解為目標對應的表現,目標的成功或者失敗,如何作用在用戶的行為之中,哪些行為、感受可以說明目標已經成功)。指標是信號的衡量標準,一個信號可以由多個指標來衡量。
舉個例子:
- 目標:智能搜索幫助用戶查詢結果;
- 信號:更多的用戶使用智能搜索 、用戶對搜索到的結果很滿意;
- 指標:點擊次數、滿意度。
四、螞蟻金服 PTECH 模型
以 HEART 度量模型為基礎,螞蟻金服根據企業級產品現狀和特征做了部分的補充和修正,推出了適用于企業級產品的 PTECH 模型。PTECH 模型與 HEART 模型的主要區別在于:
- 將 NPS 改成用戶主觀滿意度:NPS 對 C 類產品是一個很有效的指標,對于企業級中后臺來說,往往由于企業產品的封閉內環、用戶基數等眾多原因,可能還是滿意度來的更加有效;
- 不強調留存率:企業級產品用戶往往沒有太多的可選余地,因此留存率未必適合用來衡量用戶對于產品的喜好;
- 參與度和接受度指標合并:對于企業級中后臺系統,用戶使用的目標性更強,TA 就是來完成某個任務(或者說 TA 就是來完成工作的),因此活躍度基本和產品能否滿足用戶的需求強相關;
- 增加了清晰度。
圖| PTECH 模型框架
PTECH 模型通過馬斯洛需求金字塔理論推導出用戶體驗需要滿足的5個層次,分別對應度量框架的五個維度,做到了定量與定性全覆蓋。生理-安全-歸屬-尊重-自我實現五個層次分別對應:
- P——能用,這產品穩定、無故障、性能好;
- T——有用,這產品能夠確定性地完成某些任務;
- E——常用,這產品滿足的是一個會被反復使用的真實訴求;
- C——好用,這是一個專業成熟、交互友好、功能清晰的產品;
- H——愛用,這是一個能讓用戶獲得滿足、成就感的產品。
圖 | PTECH 模型優劣勢
以上就是本次文章的全部內容啦,篇幅有些長,劃個重點回顧下吧~
五、劃重點
1)綜合主客觀指標的產品體驗度量模型主要包括:UES 模型、HEART-GSM 模型、PTECH 模型。
2)UES 模型為綜合運用主觀和客觀、定性和定量分析的度量體系,包含易用性、一致性、滿意度、任務效率和性能5個度量維度,適用于技術類 B 端(云)產品的體驗度量場景。
3)HEART-GSM 模型包括【5】+【3】兩個部分:5 個用戶體驗度量維度——愉悅度、參與度、接受度、留存度和任務完成度、3 個確定數據指標的步驟——目標(Goal)——信號(Signal)——指標(Metric)。
4)PTECH 模型是基于 HEART 模型修訂的,主要度量維度如下圖:
本文由 @Problemer 原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發揮!