質量要素的用戶體驗指標構建
用戶體驗指標體系指的是基于用戶使用感受所構建的對產品或服務的評價體系,應用于對產品的系統(tǒng)化用戶體驗管理。本文作者對質量要素的用戶體驗指標構建進行了分析,一起來看一下吧。
一、什么是用戶體驗指標體系
用戶體驗指標體系(后文簡稱UX指標體系),指的是基于用戶使用感受所構建的對產品/服務的評價體系,應用于對產品的系統(tǒng)化用戶體驗管理。
UX指標的理論基礎是 ISO 9241-11關于有效性(effectiveness)、效率(efficiency)和滿意度(satisfaction)的定義。其中,有效性(Effectiveness)指的是產品是否能達成用戶目標。效率(Efficiency)指的是用戶使用產品完成任務的效率,由消耗的用戶時間/精力來衡量。滿意度(Satisfaction)為用戶的主觀滿意程度。除外,近些年來,人們愈發(fā)關注消費類產品和個人服務,產品被賦予更多的符號特性,“情感”也開始被作為一個指標的維度。
二、用戶體驗指標體系的作用
研發(fā)中指導產品設計:在研發(fā)初期進行產品設計時就可以參照指標體系的評價維度,形成產品設計的基本規(guī)范。
評估產品體驗水平:對產品設計原型和已上市產品進行用戶體驗評估,分析存在的體驗問題,便于進行體驗管理。
產品體驗水平橫縱向對比:指標體系統(tǒng)一了度量維度和評價方法,可以用于橫向對比同類產品的體驗水平或縱向對比產品不同版本階段的體驗水平。
三、用戶體驗指標體系的構建
用戶體驗指標體系猶如一個框架引領幫助我們了解用戶對產品的需求以及喜好度、接受度,通??蚣苁侨f變不離其宗的,就算遇到遺漏部分我們也可以通過后期小范圍的用戶調研彌補其指標體系,因此可見用戶體驗指標體系對用戶體驗研究和設計的重要性。通常用戶體驗指標體系分為搭建框架、框架細化、實驗驗證和調優(yōu)三大步驟。
那在了解用戶體驗指標體系之前,要先了解單一的用戶體驗指標體系與用戶體驗指標體系的差別。那以往的單一的用戶體驗指標體系也是大家所熟知的 NPS:
凈推薦值 NPS(全稱 Net Promoter Score),部分企業(yè)采用該指標整體衡量產品/服務的戶體驗水平。
NPS 的計算公式為:
(推薦者數(shù)/總樣本數(shù))×100%-(貶損者數(shù)/總樣本數(shù))×100%。
對 NPS 的實踐研究驗證了 NPS 運用得當,推廣范圍廣,采集成本低,可以預測近期銷售額增長、反映交易客戶的忠誠度、并作為整體的品牌健康指標。
但是近些年來也發(fā)現(xiàn)了 NPS 存在的缺陷和問題,比如沒有與時俱進、在不同用戶使用情景中會存在缺陷性,包括也無法解釋 NPS 這個值的變化。即使將單一整體的 NPS 細分多體驗的 NPS 指標集依舊還是會出現(xiàn)之前討論的問題。
因此,搭建用戶體驗指標體系就顯得非常關鍵。下面和大家分享一下如何構建體驗指標體系。
四、如何構建用戶體驗指標體系
搭建框架——文獻研究:該部分的工作是循環(huán)往復篩選和提取文獻中有參考價值的體驗評估要素和框架,每次提取的結果直接影響粗篩后指標集的完備度,從而決定接下來的搜尋方向。
框架細化:一般常見的指標評估方法為兩種,分別是主觀度量和客觀度量。
- 主觀度量:可用性測試、問卷調查、專家評估;
- 客觀度量:行為數(shù)據(jù)抓取、生理數(shù)據(jù)監(jiān)測。
實踐驗證和調優(yōu):有兩點注意事項。
- 通常構建的指標框架仍是雛形,需要通過實踐驗證來判斷信效度、可行性,是否需要增刪某些指標或調整評估方法。
- 在驗證時納入對比的競品,可以更直觀的驗證指標評估效果,判斷是否可以有效反映產品體驗的差異,與市場數(shù)據(jù)、用戶口碑、對標分析的結果是否可以互相印證,是否有說服力。
在實踐過程中,可能發(fā)現(xiàn)指標框架有需要調優(yōu)的地方:
- 指標的完備情況,是否遺漏了關鍵的指標
- 三/四級細分指標是否需要刪減或合并
- 指標的評估方法是否有效,是否需要調整為信效度更高的測評方式
- 主觀評估的指標,對指標的描述用戶是否可以準確理解,是否需要調整描述方式
驗證效果:通常評估指標評價結果合理,能直觀反映整體體驗水平以及在競品中的相對水平,也能深入具體功能模塊發(fā)現(xiàn)存在的體驗問題和待改進方向。
【案例舉例】手機相冊用戶體驗指標體系調優(yōu)后的效果:
- 增加一個相冊整體層的功能完備性評價,與現(xiàn)有指標集分開測評,不納入權重體系。
- 通過驗證評估選出每個模塊1-3個核心三級指標項,未來可考慮只評估核心三級指標以提升評估效率和實操性。
- 優(yōu)化“結構合理性”和“入口合理性”的指標描述,便于用戶更清晰的理解和評價。
指標權重的設計
指標權重設定:指的是在指標框架已經確定、不再發(fā)生調整后,可以開始指標構建權重的工作。否則一旦指標框架再發(fā)生調整,已得出的權重就無法使用,需要再重新構建。
值得注意的是,權重并不是必須的,當構建的指標體系有必要計算總分用來橫縱向比較;或希望通過權重引導研發(fā)對不同體驗要素的重視程度時,才需要構建權重。并且,指標體系并不是一成不變的,需要隨著發(fā)展動態(tài)演進。
五、指標落地的應用方法
主客觀度量方式
- 主觀度量:由用戶或用戶體驗專家基于自己的主觀感受、判斷對產品進行主觀打分,依賴于自我報告,如滿意度、吸引力、視覺美觀度評價等。
- 客觀度量:通過眼動、腦電、皮膚電等設備及數(shù)據(jù)埋點等來監(jiān)測用戶生理及行為數(shù)據(jù),依賴于設備或數(shù)據(jù)監(jiān)測,如某個按鈕點擊率、注視次數(shù)等。
1)主客觀度量方法
主要為可用性測試、問卷調查、專家評估三種方式。
主觀度量方法中,評分量表(Rating Scales)是主觀度量中最常用的一種,經典評分量表是Likert量表(Likert Scale)和語義差異量表(Semantic Differential Scale)。
2)客觀度量方法
分為兩種,分別為行為數(shù)據(jù)和生理數(shù)據(jù)。在行為數(shù)據(jù)中又分為用戶行為數(shù)據(jù)檢測和可用性測試兩大板塊,介紹如下:
行為數(shù)據(jù)——用戶行為數(shù)據(jù):是指用戶在產品內進行各種操作產生的數(shù)據(jù),用戶行為數(shù)據(jù)記錄用戶在產品上的每一次訪問、每一次瀏覽、每一次點擊。通過用戶行為數(shù)據(jù),可以更高效、動態(tài)的對產品用戶體驗指標進行監(jiān)測和評估。如效率指標可通過抓取用戶任務完成的時間、任務操作路徑等數(shù)據(jù)來進行度量。
在案例中介紹到,OSM與UJM結合模型以參加馬拉松活動為例,將馬拉松活動GMV(總成交額)做為總目標。
數(shù)字化可用性測試——對于已上線但沒有埋點的產品、未上線的產品,甚至只有原型線框圖,要如何收集行為數(shù)據(jù)呢?隨著用戶研究行業(yè)數(shù)字化、智能化的發(fā)展,數(shù)字化的測試工具可以幫助研究員在測試過程中自動化采集數(shù)據(jù)、分析數(shù)據(jù)。同時,在生理數(shù)據(jù)監(jiān)測中,常用的方法為眼動追蹤、情感度量、面部表情識別。
以上部分我們主要從用戶體驗指標體系的基本概念和作用、指標體系構建的三大步驟、指標權重的設定、指標落地的主客觀應用方法初步了解了用戶體驗指標體系的相關內容,讓大家對用戶體驗指標體系有了一個基本的認識,但在實際案例運用中肯定也會存在很多疑問。
六、指標體系相關問題互動答疑
1)如何設置權重?
有很多種不同方法,首先我們的指標體系已經確定好了,就是我們的所有維度,到底每一層級有哪一些指標,這個框架已經定好了 ,我們才進入到權重的計算以及權重的定義 。
權重的定義,有客觀賦值法和主觀賦值法 ??陀^賦值法的操作,需要我們把我們這一套指標體系收集大量數(shù)據(jù),就是剛才說到的不管是主觀測量還是基于行為數(shù)據(jù)的測量,我們要收集到很多很多的數(shù)據(jù)。有了大量的樣本數(shù)據(jù)值了之后,我們去反推,就是通過計數(shù)理的計算,比如結構方程、主成分分析、因子分析或者是獨立性權重,我們把權重算出來,這是一種方法。
第二種層次分析法,層次分析法現(xiàn)在有專業(yè)的軟件,像剛才說到 yaahp 軟件,可以幫我們去做層次分析法的分析。通過層次分析法,我們其實把已經構建好的這個指標體系轉化成指標對比的矩陣。這個矩陣,我們的經驗是9-10位專家已經足夠。因為這個矩陣它要的并不是數(shù)據(jù)量去計算出來權重值,它更依賴的是每一個單樣本的質量。就是我們需要找到這10個人,必須是頭腦非常清晰,然后對我們這個指標概念能夠正確的理解。那我們這10個樣本只要質量夠高的話,它進入到y(tǒng)aahp的這個軟件里面,它會自動地幫我們分析它的一致性,最后會得出符合一致性的這個因子的結果,就可以直接得到我們的權重值。
2) 權重矩陣先做一級指標還是二級及以下,如果是一級如何保證被試者知道一級指標覆蓋范圍?
我們基本上是同步做的,就是一二級指標放在一起做的。當然指標權重有時候是不用下談的三四級的,因為這個指標權重它更多的是展現(xiàn)指標的重要性。那我們很多指標的體系到一二級就夠了,就是我可以看到一級的指標里面就可以看出哪些大的方向,然后到了二級也還有看的價值,但是很少會做到三四級。所以其實把他轉化成權重之后,它的量也一般來說不會那么多,如果到了二級指標已經很多的話,你可以只做一級指標。因為這個畢竟是要由真人去評價的,尤其是你不想用專家,你想用真實的用戶的時候,就盡量不要到太深的層級。因為它真的是需要兩兩對比的,它是對心智比較耗損的,如果兩兩對比的東西太多的時候,用戶會容易暈。但是不用拆分成兩三次,可以一次完成,就是讓一個用戶把一級二級指標一起做了。
3)指標體系構建過程中,不同角色要怎么參與?有哪些角色,怎么協(xié)作,分別參與什么活動?
很多時候是產品團隊自主地想要構建一套指標體系,主要應用于競品分析。很多時候是產品負責人跟產品測試團隊一起合作來定這個指標體系,涉及到的利益相關者會比較少一點。
更復雜的情況是,企業(yè)體驗管理的部門有這樣的一個要求。他需要管理一個企業(yè)里面不同產品的用戶體驗水平,所以他們需要打造的一套指標體系用來評價各個業(yè)務團隊所做的產品用戶體驗水平,或者是設立一個標準,來規(guī)范自己的產品質量。
這種情況下設計這個指標體系就不是產品團隊,有專門的工作組,就是做用戶體驗評價和監(jiān)管地工作組。這個工作組會跟測評的團隊(協(xié)作),可能一些企業(yè)沒有專門做用戶體驗測評的團隊,可能就是(工作組)跟原來做質量測評的團隊一起去定義用戶體驗的指標體系。如果他們有做用戶體驗的咨詢調研和咨詢研究和測評團隊的話,就會跟這個團隊一起去協(xié)作去定義用戶體驗指標體系。在這個指標定義的每一個階段,需要去跟各個產品線去互動。因為需要去收集產品線對于這個指標體系的認可,就是和不同的產品業(yè)務團隊都需要在設計的這個過程中就認可這個指標體系。所以在產品用戶體驗指標體系建設的過程中,需要多輪的溝通和確認這個指標體系,一步步地讓大家來接受,并且是接受產品團隊的建議。
另外就是落地部分又需要其他團隊,(比如)這個指標體系落成之后,每一個指標數(shù)值怎么采數(shù)值,怎么把它應用到實際工作中,由哪個團隊負責,是以什么樣的頻率每次來評價。這是需要一套工作的流程和后續(xù)一系列的工作支撐,剛才我們只說到這個建設的過程,落地應用又需要另一套體系,所以要建一個平臺化的用戶體驗指標需要很大的工作量,是一個比較大的體系工程。
時間問題,其他問題不再贅述。以下是問題列舉:
- 怎么跟蹤解釋指標權重設定之后分值隨時間的變化 ?
- 什么情況下,使用通用量表和自己構建量表?
- 請問層次分析設定權重只是來看重視程度嗎?
- 手機相冊案例的這套指標體系是在產品發(fā)布的哪個環(huán)節(jié)使用?上市前還是上市后?
- 手機相冊案例是單純的用戶主觀評價一二三級指標,還是結合了客觀的數(shù)據(jù)指標?有點擔心一套非常完備的一二三級指標體系看起來很科學,但實操中用戶評價負擔太重,數(shù)據(jù)指標的高低波動很難解釋。
- 對于用戶體驗指標體系中,最需要重視的部分是什么?
- 權重矩陣先做一級指標還是二級及以下,如果是一級如何保證被試者知道一級指標覆蓋范圍?
- 請問對于某個渠道的滿意度怎么進行指標拆分?
- 滿意度可以預測嗎?
- 需求一般集中在哪些行業(yè)中?
- 三級指標也是二二對比嗎?
- 對于行為數(shù)據(jù)抓取這塊按照什么樣的標準或者是重點去確定埋點的指標呢?
- 現(xiàn)在領導讓開發(fā)人員定制體驗指標,說開發(fā)來定會更專業(yè),會有哪些副作用我們該怎么樣說服領導?
- 層次分析和maxdiff模型相似嗎?會不會減少測試過程中心智耗損?
來源公眾號:伊颯爾UXD學院,專注用戶研究和用戶體驗設計
本文由人人都是產品經理合作媒體 @伊颯爾UXD 授權發(fā)布,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協(xié)議。
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。
- 目前還沒評論,等你發(fā)揮!