Google衡量用戶體驗的指標體系
今時今日,越來越多的產(chǎn)品和服務被部署在網(wǎng)絡上,如何大規(guī)模進行用戶體驗的衡量成為一個巨大的機遇和挑戰(zhàn),怎樣設置以用戶為中心的指標來衡量網(wǎng)絡應用中關鍵目標的轉化過程,或者推動產(chǎn)品決策成為一個我們想探究的問題。在這篇文章中,Google 給我們帶來了他們目前正在使用的,以用戶為中心度量的HEART指標體系,以及把產(chǎn)品目標與創(chuàng)建指標體系相互關聯(lián)的過程。本文也包含了應用HEART指標,同時從數(shù)據(jù)驅動以及從用戶為中心的角度出發(fā),幫助產(chǎn)品團隊決策的實例。該指標體系及其使用過程已經(jīng)被Google內部各產(chǎn)品團隊廣泛認同,我們相信其他組織也能夠在使用它的過程中受益。
作者關鍵詞(Author Keywords)
指標,網(wǎng)站分析,網(wǎng)絡應用,日志分析
學術分類關鍵詞(ACM Classification Keywords)
H.5.2 [信息呈現(xiàn)]:評估用戶交互界面的方法
一般關鍵詞
實驗,人為因素,測量
引言
WEB技術的進步使得越來越多的服務基于WEB去創(chuàng)建,用戶可以在“云端”完成很多的工作,包括那些以前需要在本地運行的程序,如文字處理、照片編輯等。對于用戶體驗專家來說,需要利用服務器訪問日志來跟蹤產(chǎn)品的使用情況。依靠外部的工具,比如A/B測試工具來進行版本的迭代。但是如何以用戶體驗為中心的準則進行比較?如何挑選試用的指標?中間存在哪些機遇呢?
在CHI社區(qū),不論進行小規(guī)模的測試或進行大規(guī)模的調查,都已經(jīng)有了一個測量用戶態(tài)度(例如滿意度)的方法。但在行為數(shù)據(jù)方面,建立的測量大多規(guī)模很小,使用問卷或計時的形式進行測試,例如效果(任務完成度、出錯率)和效率(任務時間)。
CHI報告中未涉及的一塊重要內容是基于大規(guī)模用戶行為的數(shù)據(jù)分析指標。現(xiàn)在網(wǎng)站分析的潮流也已經(jīng)從原來單純的分析頁面點擊,演變?yōu)榉治鲫P鍵績效指標。但是主要還是以商務為中心進行分析的,而不是以用戶體驗為中心。一些網(wǎng)站分析工具提供的指標大多太過籠統(tǒng)或只適用于電子商務網(wǎng)站,并不針對所有網(wǎng)站。
Google創(chuàng)建了一個新的分析用戶態(tài)度和行為的用戶體驗指標體系。我們利用百萬用戶數(shù)的基礎以及根據(jù)自身經(jīng)驗打造該體系,使其能適應大公司不同類型多種產(chǎn)品(面向用戶/業(yè)務中心)的需求。我們發(fā)現(xiàn)該體系已能滿足Google自身產(chǎn)品及流程的需求,我們也相信其他公司的團隊也能夠使用這一體系。同時我們也期望在大規(guī)模用戶行為數(shù)據(jù)挖掘方面,有更多的研究成果出現(xiàn)。
相關研究
近年來已然有很多工具來幫助網(wǎng)站應用和服務跟蹤分析:免費或收費的分析工具(Google Analytics/Omniture);利用現(xiàn)代分布式系統(tǒng)(簡化數(shù)據(jù)處理/Apache Hadoop)或者特化的程序語言(Parallel Analysis)對大量日志數(shù)據(jù)進行用戶分析;根據(jù)用戶行為對訪客群體進行細分的網(wǎng)絡數(shù)據(jù)挖掘技術(Web User Traffic Composition);很多供應商均提供的用戶調查與易用性測試(UserZoom)以及可控的A/B測試等。
除開實施與使用過程的因素,如何有效率的使用這些工具仍然存在很大挑戰(zhàn)。標準的網(wǎng)站分析指標對于特定的某些產(chǎn)品目標或者研究課題顯得太過一般化。在壓迫性的巨量數(shù)據(jù)面前,如何分離出有效的數(shù)據(jù),如何指導商業(yè)行為與決策是很困難的。很多專家建議關注少數(shù)關鍵性業(yè)務指標或者用戶指標,利用他們監(jiān)測商業(yè)活動,但我們在實踐中發(fā)現(xiàn)說起來容易做起來難,產(chǎn)品團隊不會告訴你,也未必能清晰的定義目標是什么,因此讓選擇監(jiān)測指標十分困難。(好吧,我想到了Google Wave——ysy.me)
很顯然這些指標不能單獨拿來用,它們應當配合其他信息來源使用,比如配合可用性報告和實地考察來幫助決策。同樣的,它們對于線上的產(chǎn)品也十分有用,對于早期用戶探索的作用是無可替代的。因此,我們想要探索出一個整合大規(guī)模用戶行為和趨向數(shù)據(jù)的體系,用于補充公司現(xiàn)有的用戶體驗研究方法。
1、傳統(tǒng)的網(wǎng)站衡量指標PULSE
- Page view/頁面瀏覽量
- Uptime/響應時間
- Latency/延遲
- Seven days active user/7天活躍用戶數(shù)
- Earning/收益
PULSE是基于商業(yè)和技術的產(chǎn)品評估系統(tǒng),被很多組織和公司廣泛應用于跟蹤產(chǎn)品的整體表現(xiàn)。
這些指標非常重要,并且和用戶體驗息息相關,比如一個產(chǎn)品如果經(jīng)常訪問無響應或者延遲很高是無法吸引用戶的。一個電子商務網(wǎng)站的下單流程如果步驟過多就很難賺到錢。一個用戶體驗佳的產(chǎn)品在PV和用戶量上應當是會不斷增長的。
但是這些指標要么太表面化,要么只是間接和用戶體驗相關,很難用來評估改變交互界面對于用戶的影響。并且他們也經(jīng)常產(chǎn)生負面的互相影響——比如一個特定功能頁面的PV上升可能是由于這個功能真的很棒,或是界面讓用戶迷惑,而想通過不斷的點擊嘗試離開。改變所帶來短期的價值提升,但糟糕的用戶體驗長期來說會造成用戶的流失。
在一段特定時期內的用戶指標數(shù),例如七天活躍用戶數(shù)(Seven days active user)常常被用做用戶體驗指標。該指標度量了整個用戶群,但沒有反映用戶對于產(chǎn)品的深入程度,比如七天之內來訪的頻數(shù),同樣它也沒有區(qū)分新老用戶群體。在最糟糕的情況下,100%的活躍用戶都是新訪客,但活躍用戶總數(shù)仍在不斷增加,這對于產(chǎn)品來說顯然是失敗的。
2、以用戶為中心的指標體系HEART
基于PULSE中存在的不足,結合用戶體驗質量以及讓數(shù)據(jù)更有實際意義的需求,我們提出了一個作為補充的度量體系:HEART。
- Happiness/愉悅度
- Engagement/參與度
- Adoption/接受度
- Retention/留存率
- Task success/任務完成度
這五項僅僅是指標體系的范疇,不同的產(chǎn)品可據(jù)此定義具體的指標,用以監(jiān)控完成目標的過程。
愉悅感結合用戶的滿意度來度量,任務完成度結合任務完成的效果和效率來度量。參與度、接受度、留存率是全新的范疇,一般通過廣泛的行為數(shù)據(jù)來制定。通常并不適合在一個指標設定中用到所有維度,但可以參考該體系來決定是包括或排除某個維度。比如用戶是要將使用你的產(chǎn)品作為工作的一部分,在這種企業(yè)環(huán)境下參與度就沒有什么意義了。在這個案例中可以考慮選擇愉悅感或者任務完成度。
愉悅感
愉悅感是設計用戶體驗中的主觀感受問題,像滿意度、視覺感受、向別人推薦的意愿、易用性感知??梢酝ㄟ^好好設計問卷長時間監(jiān)控相同的指標來看設計修改后帶來的變化。
例如,我們有個性化首頁的服務(iGoogle)。團隊利用產(chǎn)品內置的檢測手段,跟蹤了一周內一系列的指標來研究改版和新功能的影響。在一次大改版之后,起初用戶滿意度指標是大幅下降的(利用七點雷達圖),但是隨著時間推移,這個指標逐漸恢復,這表明大幅下降只是因為剛改版時的不適應。漸漸習慣這次改變之后,用戶實際上是很喜歡的。有了這一信息,團隊就可以更有信心的保持這次改版的設計。
參與度
參與度是用戶在一個產(chǎn)品中的參與深度,在這個維度上,通常用來作為一段時期內訪問的頻度、強度或互動深度的綜合。比如單用戶每周的訪問次數(shù),或者用戶每天上傳的照片數(shù),這比總量要好——因為總量的增長可能是由更多的用戶的產(chǎn)生,而不是更多的使用產(chǎn)生的。
例如,Gmail團隊更想研究用戶的參與度而非PULSE指標體系中的七天活躍用戶數(shù)(只是上周使用該產(chǎn)品用戶的簡單計數(shù)之和)。我們有理由去相信,深度用戶會經(jīng)常檢查他們的郵箱,因為他們已經(jīng)形成習慣。我們選擇的指標是一周內訪問五天或者更多的百分比,這一指標同樣也可以用來預測用戶長期的留存度。
接受度和留存率
接受度和留存率指標通過特定時期內大量用戶的統(tǒng)計(比如,7天的活躍用戶數(shù))提供強大的洞察,來定位新用戶和老用戶的差異問題。接受度監(jiān)控特定時期內有多少新用戶開始使用產(chǎn)品(比如,最近7天內新創(chuàng)建的賬號),而留存率則監(jiān)控特定時期內有多少用戶在下稍后一個時期內仍然存在(比如,某一周的7天活躍用戶在3個月后仍然在7天活躍用戶中)。
在此“使用”和“周期”的兩個概念都應當因事制宜,有時候“使用”就意味著訪問網(wǎng)站,有時候則是到達了某個特定的頁面或者完成某種互動,例如創(chuàng)建賬戶。留存率和參與度相似,它可以被定義不同周期長度,有的產(chǎn)品也許只需要觀察周數(shù)據(jù),有的則需要月數(shù)據(jù)或者季度數(shù)據(jù)。
例如,在08年證券市場暴跌的那段時間,谷歌金融在瀏覽量和七日活動用戶指標上都有一次井噴,但無法確定數(shù)據(jù)的劇增是來自關心金融危機的新用戶或是恐慌性不停查看他們的投資信息的老用戶。在不知道是誰增加了這些訪問量之前,決定是否要改版網(wǎng)站以及如何進行修改十分困難的。我們利用接受度和留存率這兩個指標來區(qū)分用戶群體,同時還關注了新用戶繼續(xù)使用該服務的百分比。這類信息被我們團隊利用于解讀事件驅動的數(shù)據(jù)波動以及發(fā)現(xiàn)潛在的機會。
任務完成率
任務完成率維度包括一些傳統(tǒng)的用戶體驗行為指標,比如效率(如完成任務的時間),效果(比如任務完成的百分比)以及錯誤率。
例如,谷歌地圖曾經(jīng)有過兩種不同的搜索框,一種是用戶可以分開輸入“目的”和“地點”的雙重搜索框,另一種是單個搜索框處理所有的類別。有人覺得單個搜索框就可以勝任一切,同時又保持了效率,在之后的A/B測試中,團隊測試了僅提供單個搜索框的版本。他們比較了兩個不同版本的錯誤率,發(fā)覺用戶在單個搜索框版本中能夠更加有效的達成他們的搜索目的。最終,這個結果讓團隊非常有把握的在所有地圖上移除了雙搜索框功能。
3、目標——信號——指標
不管定義的用戶中心的指標是怎樣的,如果不能和目標明確的相關,以及能夠跟蹤達到目標的過程,那么都是白搭。Google提供了一個簡單的流程來完成指標的設定,首先明確產(chǎn)品或者功能的目標,然后定義轉化的信號,最終建立適用的指標。
目標
第一步是定義產(chǎn)品或功能的目標是什么,特別是在用戶體驗方面。用戶需要完成什么任務?重新設計是試圖達到什么?使用HEART體系來明確相關的目標(比如,是吸引新用戶更重要,還是鼓勵現(xiàn)有用戶更積極參與重要?)一些有用的提示:
- 不同的團隊成員可能對于項目的目標有不同的意見。這是收集不同的想法并且爭取達成共識(并且認同選擇的指標)的良機
- 特定項目或功能的成功可能與產(chǎn)品的整體目標不同
- 在這個階段無需太擔心找不到相關的信號或指標
信號
接下來,想想用戶的行為或態(tài)度如何體現(xiàn)成功或失敗。什么行動會表示目標已經(jīng)達到?什么感受或看法能夠聯(lián)系到成功或失敗?在這個階段你應該思考你的這些信號的數(shù)據(jù)源可能是什么?比如,基于日志的行為信號,這些相關的行為目前有記錄或者能夠被記錄嗎?可以收集態(tài)度的信號——能否定期投放問卷嗎?日志和問卷是我們最常使用的兩個信號源,當然也有其它的選項(比如,使用一個面板或判斷讓用戶評分)。一些有用的提示:
- 選擇敏感度高以及和目標特別相關的信號——只因用戶體驗的好壞而改變,而非其他不相干的因素。
- 有時失敗比成功更容易定義(比如,放棄任務、撤銷,挫折)
指標
最后,想想這些信號是否可以轉換為特定的指標,是否可以被方便的持續(xù)跟蹤。一些有用的提示:
- 原始統(tǒng)計數(shù)據(jù)會隨同你的用戶基數(shù)增長而增長,需要轉化為常態(tài);比例、百分率或者每個用戶的平均值更有用一些
- 在確保精度上有很多挑戰(zhàn),基于web日志的指標,如從自動生成的數(shù)據(jù)中過濾流量(如爬蟲、垃圾信息),并且確保所有重要的用戶行為都被日志記錄(默認情況下可能不會,尤其是在基于AJAX或基于Flash的應用中)
- 如果需要拿你的項目或產(chǎn)品和其他的進行對比,你可能需要在標準指標外,額外增加監(jiān)控指標來進一步更準確得監(jiān)測產(chǎn)品。
4、總結
Google已經(jīng)花費數(shù)年時間來解決廣泛應用的用戶體驗的衡量指標體系。HEART體系和目標-信號-指標的過程,已經(jīng)在Google超過20個產(chǎn)品和項目中進行了應用。不管是數(shù)據(jù)驅動的還是用戶中心的產(chǎn)品中,HAERT體系和目標-信號-指標過程都能幫助產(chǎn)品團隊來做出決定。
Translation: Steve
Special thanks to: Biaodianfu
Google原文鏈接《Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications》
部分內容參考自?天涯博弈
來源:http://www.ysy.me/2011/07/06/google-metrics-framework/
- 目前還沒評論,等你發(fā)揮!