起點(diǎn)課堂會(huì)員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會(huì)特權(quán)
個(gè)人IP打造特權(quán)
30+門專項(xiàng)技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導(dǎo)直播
12場專業(yè)技能直播
會(huì)員專屬社群
榮耀標(biāo)識(shí)用戶產(chǎn)品：敏捷體驗(yàn)度量思考與實(shí)踐
編輯導(dǎo)讀：對(duì)于一些設(shè)計(jì)師來說，體驗(yàn)度量方法已經(jīng)不是一個(gè)新鮮的概念，但是真正運(yùn)用到工作中還是存在很多問題。本文作者基于自身工作經(jīng)驗(yàn)，從一個(gè)新的角度介紹普適的體驗(yàn)度量方法，與你分享。
關(guān)于體驗(yàn)度量方法行業(yè)內(nèi)案例已有一些，但普遍為較為全局，實(shí)施與結(jié)果輸出成本相對(duì)較高，對(duì)一些小團(tuán)隊(duì)可能運(yùn)用起來比較困難。
本文結(jié)合過往項(xiàng)目實(shí)際經(jīng)驗(yàn)，從一個(gè)新的角度介紹，相對(duì)敏捷且普遍適用的小團(tuán)隊(duì)體驗(yàn)度量方法，較為完整地還原了從構(gòu)建，實(shí)施，驗(yàn)證，最終成型的過程思考。體驗(yàn)度量好像近些年來正在成為行業(yè)內(nèi)的一種新的趨勢，希望這篇文章能對(duì)大家在體驗(yàn)度量方面的工作有所啟發(fā)。
Ps:?文章少部分內(nèi)容對(duì)設(shè)計(jì)圈內(nèi)成熟的體驗(yàn)度量經(jīng)驗(yàn)分享有所借鑒與參考，在此表示衷心的感謝。
隨著體驗(yàn)設(shè)計(jì)行業(yè)和相關(guān)職業(yè)逐漸走向深耕，價(jià)值一詞被越來越多地提及。我們進(jìn)行這次體驗(yàn)設(shè)計(jì)度量實(shí)踐的原動(dòng)力，某種意義上講，也是源于我們對(duì)于體驗(yàn)設(shè)計(jì)價(jià)值的新的理解或者說一次新的嘗試。
長文預(yù)警，本文主要包含以下內(nèi)容：
- 體驗(yàn)設(shè)計(jì)價(jià)值理解
- 什么是體驗(yàn)度量
- 為什么要做體驗(yàn)度量及其重要性
- 如何進(jìn)行體驗(yàn)度量
- 全文要點(diǎn)總結(jié)
01 體驗(yàn)設(shè)計(jì)價(jià)值的理解
這些年體驗(yàn)設(shè)計(jì)價(jià)值越來越多的被提起及受到重視，但是大部分設(shè)計(jì)師或者從業(yè)者，普遍還是說不清楚感受不到，弄不明白體驗(yàn)設(shè)計(jì)的價(jià)值到底是什么？
我個(gè)人目前的理解是：用戶體驗(yàn)設(shè)計(jì)與業(yè)務(wù)價(jià)值的強(qiáng)關(guān)聯(lián)，是其真正的價(jià)值體現(xiàn)。用戶體驗(yàn)不是主觀的藝術(shù)，它有一套科學(xué)的、可度量的設(shè)計(jì)方法和策略。
體驗(yàn)設(shè)計(jì)的價(jià)值是更好的實(shí)現(xiàn)產(chǎn)品價(jià)值、用戶價(jià)值、商業(yè)價(jià)值、社會(huì)價(jià)值的交付。也是基于這種理解以及對(duì)價(jià)值的追求，驅(qū)使我們進(jìn)行了公司內(nèi)信息流項(xiàng)目的體驗(yàn)度量工作。
02 什么是體驗(yàn)度量
目前行業(yè)內(nèi)好像還沒有特別明確的體驗(yàn)度量的定義，在《用戶體驗(yàn)度量》一書中，作者：Tom Tullis & Bill Albert 大概給出了如下定義：
“度量”是一種測量或評(píng)價(jià)特定現(xiàn)象或事物的方法（需建立在一套可靠的測量體系之上）。
“用戶體驗(yàn)度量”是建立在一套可靠的測量體系上:? 使用同一類的測量手段對(duì)事物進(jìn)行測量時(shí)，得到的結(jié)果是可以相互比較的，所有用戶體驗(yàn)度量都是可觀測、可量化并以數(shù)字的形式表示出來的。
這個(gè)定義我個(gè)人覺得不是特別直觀易理解，我們可以提煉一下其中的關(guān)鍵詞：可靠的測量體系 ，可觀測的量化表達(dá)?；谶@些關(guān)鍵詞，我嘗試給用戶體驗(yàn)度量一個(gè)更直觀且易于理解的定義：
- 用戶體驗(yàn)度量是：?通過一套可靠的測量體系 ，量化用戶體驗(yàn)的過程
- 是讓用戶體驗(yàn)從“抽象”到“具象”的過程
- 是使用戶體驗(yàn)從“玄學(xué)”到“科學(xué)”的重要基礎(chǔ)
- 是更好的實(shí)現(xiàn)體驗(yàn)設(shè)計(jì)價(jià)值及體驗(yàn)設(shè)計(jì)體系化的關(guān)鍵路徑
03 為什么要做體驗(yàn)度量
我想每個(gè)設(shè)計(jì)師職業(yè)生涯中普遍都會(huì)面臨一些趨于一致的“靈魂拷問&質(zhì)疑&難以回答的問題”：
- 你們對(duì)產(chǎn)品指標(biāo)有什么貢獻(xiàn)？
- 我覺得這個(gè)優(yōu)化沒有競品的好？
- 你怎么證明你做的更好？
- 你做了這么多對(duì)產(chǎn)品有多大影響？
- 我覺得你做這些沒有意義
- 你們只關(guān)心美不美，浪費(fèi)資源
- 我們看著可不如就競品好
為什么會(huì)面臨這些“拷問&質(zhì)疑&難以回答的問題”？
這個(gè)問題曾經(jīng)其實(shí)也困擾了我很久，后來隨著工作時(shí)間漸長，自己更多的思考結(jié)合與業(yè)界各種大神之間靈魂的交流，可以嘗試解答一下這個(gè)問題。
原因主要有兩點(diǎn)：
大部分人其實(shí)并不知道用戶體驗(yàn)具體是什么，因?yàn)轶w驗(yàn)是一種很主觀的東西，看不見也摸不著，但又確實(shí)能感受到它的存在，“一萬個(gè)人心中有一萬個(gè)阿姆雷特”。
用戶體驗(yàn)這個(gè)命題非常大，設(shè)計(jì)范疇十分廣闊沒辦法單純地以“好用”和“不好用”作為簡單直接的衡量標(biāo)準(zhǔn)。
所以，當(dāng)沒有絕對(duì)權(quán)威及清晰且合適的標(biāo)準(zhǔn)的時(shí)候，結(jié)果往往就是：別人用自己的“感覺”質(zhì)疑你的“感覺”，你也會(huì)用自己的感覺質(zhì)疑同行水準(zhǔn)。
比如，很多設(shè)計(jì)師可能沒有辦法理解，某公司一個(gè)簡單的品牌升級(jí)，需要花費(fèi)幾百萬的設(shè)計(jì)費(fèi)用，在我們看來，這個(gè)logo我一天能畫10個(gè)。多半是因?yàn)槲覀冏约汉芏鄷r(shí)候也看不到設(shè)計(jì)背后的完整鏈路和其帶來的長遠(yuǎn)價(jià)值。
那用戶體驗(yàn)真的是一種“玄學(xué)”嗎？
這個(gè)答案一定是否定的，不然那些被設(shè)計(jì)師瘋狂喜愛的、偉大的公司也不可能成功。如：喬布斯構(gòu)建起來的商業(yè)帝國，目前已經(jīng)是全球最有價(jià)值的公司。
用戶體驗(yàn)其實(shí)是有一套科學(xué)的、可度量的設(shè)計(jì)方法和策略的。設(shè)計(jì)師的問題在于，如何真正在工作中運(yùn)用“用戶體驗(yàn)”的思維，在產(chǎn)品中完成落地，在商業(yè)中獲得價(jià)值和利益。
設(shè)計(jì)師不單單是體驗(yàn)微觀的設(shè)計(jì)者，更是體驗(yàn)宏觀的管理者。設(shè)計(jì)師本質(zhì)上也可以理解為是在不斷追求更好的構(gòu)建與管理用戶體驗(yàn)。
基于以上認(rèn)識(shí)回到本節(jié)問題，我們做體驗(yàn)度量的原因：
現(xiàn)代管理學(xué)之父：Peter F. Drucker 有一句名言：If you can’t measure it，you can’t manage it（如果你不能很好地度量它，也就無法有效地管理它）
國內(nèi)設(shè)計(jì)圈也有一些普遍共識(shí)：
- 如果不能獲得用戶可量化的反饋結(jié)果，就很難談?dòng)懈倪M(jìn)迭代的效率
- 如果體驗(yàn)設(shè)計(jì)不能很好的被證明，就很難談設(shè)計(jì)存在的價(jià)值
- 如果體驗(yàn)設(shè)計(jì)價(jià)值不能很好的被體現(xiàn)，就很難規(guī)避“某些”質(zhì)疑
所以這就是我們需要進(jìn)行體驗(yàn)度量的原因：為了更好的設(shè)計(jì)，為了更多的價(jià)值。
因?yàn)轶w驗(yàn)度量可以幫助設(shè)計(jì)師獲得：
- 直觀的體驗(yàn)感
- 明確的資源投入方向
- 良好的用戶體驗(yàn)管理
- 價(jià)值性的探索設(shè)計(jì)破局點(diǎn)
- 清晰的設(shè)計(jì)價(jià)值體現(xiàn)&進(jìn)階
體驗(yàn)度量與可用性測試的區(qū)別：
有時(shí)候我們?nèi)菀字v體驗(yàn)度量與傳統(tǒng)可用性測試相混淆，但兩者其實(shí)是有顯著區(qū)分的。
- 可用性測試：更多的是關(guān)注用戶使用產(chǎn)品成功完成某項(xiàng)任務(wù)的能力
- 用戶體驗(yàn)度量：是更宏觀的視角，強(qiáng)調(diào)用戶與產(chǎn)品之間的整體交互，以及在交互過程中形成的想法、感受和感知
以上，我通過介紹自己對(duì)體驗(yàn)設(shè)計(jì)價(jià)值的理解，及什么是體驗(yàn)度量、為什么要做體驗(yàn)度量的分析，闡述了體驗(yàn)度量的基本概念及進(jìn)行體驗(yàn)度量的重要意義。下面通過對(duì)之前工作中進(jìn)行的，信息流項(xiàng)目體驗(yàn)度量評(píng)測過程的回顧，向大家講解如何進(jìn)行體驗(yàn)評(píng)測（從構(gòu)建到實(shí)施）。
04 如何進(jìn)行體驗(yàn)度量
找準(zhǔn)體驗(yàn)度量切入點(diǎn)：
度量需要方法，而方法構(gòu)建的第一步是找準(zhǔn)切入點(diǎn)影響用戶體驗(yàn)的因素有哪些呢？
美國著名學(xué)者：Fred D. Davis：
1989年，在技術(shù)接受模型(TAM )中，指出了兩個(gè)影響技術(shù)類產(chǎn)品使用的核心因素：“有用性”和“易用性”
- 有用性：在使用某一特定系統(tǒng)時(shí)，主觀上認(rèn)為其所帶來的實(shí)際作用戶用、價(jià)值（有沒有用的問題）。
- 易用性：用戶在使用某一特定系統(tǒng)時(shí)，主觀上認(rèn)為簡單、易理解、愉悅、順暢的程度。
“有用性”更多是產(chǎn)品能力本身層面的屬性，關(guān)乎功能和商業(yè)；而“易用性”則是設(shè)計(jì)師大多數(shù)情況下更能把握和發(fā)力的核心，也是大多數(shù)體驗(yàn)度量模型的切入點(diǎn)。所以，信息流體驗(yàn)度量工作的切入點(diǎn)是：從度量產(chǎn)品的易用性角度切入。
切入點(diǎn)找到了，那有沒有成熟的方法可以直接套用或者借鑒學(xué)習(xí)？
目前較為成熟體驗(yàn)度量模型：國際標(biāo)桿模型Google HEART，國內(nèi)大廠較為成熟的模型阿里云的UES，螞蟻金服的TECH, ?? 哈羅出行的體驗(yàn)度量模型，以及網(wǎng)頁時(shí)代的經(jīng)典PULSE 模型。
在分析中發(fā)現(xiàn)，PULSE模型誕生比較早（還是互聯(lián)網(wǎng)的洪荒時(shí)代）且指標(biāo)更多關(guān)注網(wǎng)頁產(chǎn)品的可用性（只要確保產(chǎn)品能穩(wěn)定快速運(yùn)行，不會(huì)出現(xiàn)負(fù)面的體驗(yàn)就行了），不是非常適合我們。而Google的HEART模型屬于經(jīng)典模式，適用于大部分C端產(chǎn)品，其他幾種模式也基本脫胎與它，或?qū)λ兴梃b。所以，我們找到的巨人就是Google ?HEART模型。
Google HEART模型評(píng)測模式:? 其定義了體驗(yàn)評(píng)價(jià)的5個(gè)維度，每個(gè)維度定義了對(duì)應(yīng)的指標(biāo)及相應(yīng)的度量手段。從而完成抽象至具象的過程，實(shí)現(xiàn)體驗(yàn)評(píng)測，檢測。
Google HEART模型評(píng)測模式
模式方式清楚了，那“巨人”有什么 特點(diǎn)呢？通過發(fā)分析我們總結(jié)了HEART模型如下特點(diǎn)，我把它分成優(yōu)勢與成本（都是相對(duì)而言的）：
Google HEART模型特點(diǎn)
模型優(yōu)勢：全維度、多參數(shù)、多角度、系統(tǒng)性的評(píng)估方式，評(píng)測著眼角度為產(chǎn)品全局且有大廠背書值得信賴。
與此相對(duì)應(yīng)的，此種評(píng)測方式也帶來了相應(yīng)的成本：實(shí)施成本較高；結(jié)果分析輸出成本高（如項(xiàng)目內(nèi)無良好且完善的數(shù)據(jù)統(tǒng)計(jì)及分析工具基礎(chǔ)）；跨部門協(xié)作依存度較高（強(qiáng)調(diào)多部門較好的協(xié)同配合）。
那HEART模式適用于我們的項(xiàng)目嗎？于是，我們對(duì)我們項(xiàng)目的特點(diǎn)也進(jìn)行了簡單分析：
- 產(chǎn)品特點(diǎn)：為公司APP內(nèi)的一個(gè)功能模塊
- 項(xiàng)目特點(diǎn)：基礎(chǔ)設(shè)施不完善，項(xiàng)目資源相對(duì)緊張，節(jié)奏快
- 迫切困惑：體驗(yàn)與頭部競品差異較大，設(shè)計(jì)急需明確發(fā)力點(diǎn)（是內(nèi)容導(dǎo)致？是使用體驗(yàn)所致？…）
- 服務(wù)特點(diǎn)：內(nèi)容消費(fèi)，多為圖文內(nèi)容（自身內(nèi)容特征 ），核心流程較為聚焦
- 設(shè)計(jì)側(cè)特點(diǎn)：人員有限（3UI+1UE），支持常規(guī)需求+體驗(yàn)驅(qū)動(dòng)需求
通過對(duì)大廠模型與自身特點(diǎn)的對(duì)照，我們發(fā)現(xiàn)：進(jìn)行類似HEART模型式的全維度評(píng)估，似乎不能較好且有效率的解決我們當(dāng)前的迫切問題，落地實(shí)施對(duì)我們當(dāng)前項(xiàng)目現(xiàn)狀來說也仿佛有點(diǎn)難。
通過進(jìn)一步分析現(xiàn)有“巨人”模型，發(fā)現(xiàn)其除了普遍借鑒、參考了HEART模型外，還有具有一個(gè)共同特征，同時(shí)，我們也得到了一個(gè)新的認(rèn)識(shí)：
一個(gè)共同特征：
它們各有切入點(diǎn)，也各有其適應(yīng)場景。雖然方法各具特色、不盡相同，思維卻可歸納。無論模型怎么變化，表達(dá)產(chǎn)品體驗(yàn)的重要度量指標(biāo)，總逃不開這三個(gè)范圍：用戶感受、用戶行為、系統(tǒng)表現(xiàn)。
一個(gè)新的認(rèn)識(shí)：
體驗(yàn)度量具有較強(qiáng)的業(yè)務(wù)特點(diǎn)：不同的業(yè)務(wù)類型、業(yè)務(wù)階段、業(yè)務(wù)規(guī)模、資源情況都會(huì)有與之相配的不同的合適的度量方式。
基于以上理解，得出結(jié)論：現(xiàn)成的模型很好，但是我們不合適。
信息流項(xiàng)目需要的是：我們當(dāng)前需要的應(yīng)該是與當(dāng)前項(xiàng)目特點(diǎn)，項(xiàng)目情況，產(chǎn)品特征、階段性目標(biāo)匹配的專有評(píng)估方法。
所以下一步我們需要制定體驗(yàn)度量的目標(biāo)，對(duì)當(dāng)前我們體驗(yàn)度量的目標(biāo)進(jìn)行梳理：
- 量化并跟蹤信息流核心使用流程的用戶體驗(yàn)水平
- 量化并跟蹤信息流產(chǎn)品在核心流程上與主流競品的優(yōu)勢與差距
- 指導(dǎo)設(shè)計(jì)側(cè)體驗(yàn)優(yōu)化工作方向，驗(yàn)證體驗(yàn)優(yōu)化結(jié)果，推動(dòng)產(chǎn)品排期
- 解決我們體驗(yàn)優(yōu)勢是什么？好多少。我們體驗(yàn)劣勢是什么？差多少的問題
基于對(duì)項(xiàng)目特點(diǎn)，當(dāng)前度量目標(biāo)的拆解，我們分析出適合我們自身的體驗(yàn)評(píng)測方式：
- 聚焦搜索APP信息流模塊
- 關(guān)注用戶核心使用流程的體驗(yàn)
- 更多著眼用戶主觀感受
- 清晰與競品差距與機(jī)會(huì)點(diǎn)
接下來我們結(jié)合前期分析，提煉了信息流核心路徑感官體驗(yàn)評(píng)測的評(píng)價(jià)維度：
信息流核心路徑感官體驗(yàn)評(píng)測的評(píng)價(jià)維度
基于信息流內(nèi)容消費(fèi)的產(chǎn)品形態(tài)特征，結(jié)合項(xiàng)目現(xiàn)階段困惑、目標(biāo)、資源能力確定評(píng)測維度為：
- 接受度（內(nèi)容質(zhì)量、整體使用感受）
- 愉悅度（清晰度，樣式舒適美觀度，特色功能）
- 任務(wù)效率（功能易用性、完備度）
依據(jù)確認(rèn)的維度，提煉明確了評(píng)測的目標(biāo)物：
- 核心內(nèi)容質(zhì)量（圖文內(nèi)容為主）
- 主路徑使用感受（易用性，一致性，設(shè)計(jì)舒適度）
- 核心功能使用感受（評(píng)論，贊&不喜歡，分享等
- 整體體驗(yàn)感受（主觀感受打分
- 主競品的同維度對(duì)比
根據(jù)本次體驗(yàn)評(píng)測特征（傾向主觀感受評(píng)測），結(jié)合對(duì)業(yè)內(nèi)成熟評(píng)測方法的參考分析，確定本次評(píng)測的形式：采用專家評(píng)估。
我們又參考了一些啟發(fā)式評(píng)估的經(jīng)驗(yàn)數(shù)據(jù)（如：試驗(yàn)表明，每個(gè)評(píng)審人員平均可以發(fā)現(xiàn)35％的可用性問題，而5個(gè)評(píng)審人員可以發(fā)現(xiàn)大約75％的可用性問題）
將評(píng)測形式進(jìn)一步明確為：
通過每期招募不少于10名符合要求的“專家” ,通過一對(duì)多前期宣講，投放調(diào)研問卷，集中評(píng)測的形式進(jìn)行信息流核心路徑感官體驗(yàn)評(píng)測。
什么樣的專家是符合標(biāo)準(zhǔn)的：
信息流核心路徑感官體驗(yàn)評(píng)測的評(píng)價(jià)維度
結(jié)合信息流核心路徑感官體驗(yàn)評(píng)測的特點(diǎn)，我們梳理出了適合本次評(píng)測專家的標(biāo)準(zhǔn)：
- 公司內(nèi)部招募
- 優(yōu)先被評(píng)測項(xiàng)目，項(xiàng)目組內(nèi)成員
- 設(shè)計(jì)職能為主，產(chǎn)品職能為輔
- 專家盡量階段性固定（考慮到多次實(shí)施成本，及結(jié)果的可靠性）
基于以上，我們最終確定了信息流核心路徑感官體驗(yàn)評(píng)測的最終形式：
項(xiàng)目組內(nèi)UX為主體，兼顧產(chǎn)品，運(yùn)營，開發(fā)等角色組成的專家式評(píng)估。每期招募不少于10名符合要求的“專家”通過一對(duì)多前期宣講，填寫問卷，集中評(píng)測的形式進(jìn)行信息流核心路徑感官體驗(yàn)評(píng)測。
評(píng)測形式確定后，下一步我們就要著手進(jìn)行調(diào)研問卷的設(shè)計(jì)：
根據(jù)前期分析推導(dǎo)結(jié)合信息流產(chǎn)品特點(diǎn)與近期目標(biāo)設(shè)定調(diào)研問卷大框架
- 明確列表至圖文詳情頁核心主路徑的評(píng)測細(xì)節(jié)點(diǎn)
- 明確主要評(píng)測流程：先看、看那些、看多少而后后評(píng)
- 明確評(píng)測采樣機(jī)型：根據(jù)后臺(tái)機(jī)型數(shù)據(jù)覆蓋，抽取主流用戶覆蓋機(jī)型進(jìn)行評(píng)測
- 明確主要對(duì)標(biāo)競品：**，**
根據(jù)框架指引，最終我們?cè)O(shè)計(jì)了:（經(jīng)過多輪修改，也借鑒了許多成熟的可用性，易用性相關(guān)問卷等）
- 針對(duì)列表：內(nèi)容、樣式、整體三維度，10題5分制問卷
- 針對(duì)詳情頁：內(nèi)容、樣式、功能、整體三維度，21題5分制問卷
初版問卷示意（非最終版）
完成完整方法設(shè)計(jì)后，我們立即推動(dòng)執(zhí)行了首輪《信息流核心路徑感官體驗(yàn)評(píng)測》:
- 首輪評(píng)測共招募專家13人：UED側(cè)7名、產(chǎn)品&運(yùn)營側(cè)6名專家（項(xiàng)目組內(nèi)）
- 通過2天集中組織的測評(píng)，完成首輪信息流核心路徑感官體驗(yàn)評(píng)測,評(píng)測部分工作
其實(shí)，首輪評(píng)測除了前面講到的目標(biāo)，我們還有兩個(gè)額外較為重要的目標(biāo)：
- 初步驗(yàn)證整體評(píng)測方法的可行性
- 獲取體驗(yàn)評(píng)價(jià)體系基準(zhǔn)點(diǎn)，作為核心流程體驗(yàn)優(yōu)化的參考系(前面提到了，本次評(píng)測核心目標(biāo)之一為：迫切的想解決我們與頭部競品的體驗(yàn)主要差異問題
在完成評(píng)測后，我們分析輸出了首輪評(píng)測的結(jié)果。通過對(duì)結(jié)果的分析，我們也得到了一些有價(jià)值的結(jié)論：
- 量化明確了我們與頭部競品在內(nèi)容層面的具體差異
- 定位了樣式層面的問題及與競品的差異點(diǎn)，幫助設(shè)計(jì)師確定下一步工作目標(biāo)
- 透過功能層面分?jǐn)?shù)對(duì)比，看出一些特色功能對(duì)用戶的整體感受影響顯著（定位深入探索的方向）
在通過第一次體驗(yàn)評(píng)測完成基點(diǎn)貯備與目標(biāo)確認(rèn)后，我們針對(duì)性推動(dòng)了核心流程體驗(yàn)優(yōu)化工作：
針對(duì)性體驗(yàn)優(yōu)化行動(dòng)路徑
由于有量化的評(píng)測結(jié)論佐證與指引，結(jié)合明確的行動(dòng)目標(biāo)、清晰的行動(dòng)路徑，使得整個(gè)體驗(yàn)提升計(jì)劃，以較高效率完成實(shí)施上線。
經(jīng)過一段時(shí)間線上沉淀后，我們?cè)谝咔槠陂g，通過線上組織進(jìn)行了第二次信息流核心路徑感官體驗(yàn)評(píng)測（線上評(píng)測也是不得已而為之的一次有趣嘗試，最終從實(shí)施過程及結(jié)果上也驗(yàn)證了，之前對(duì)評(píng)測專家應(yīng)階段性固定設(shè)定的價(jià)值，確實(shí)會(huì)逐步提升評(píng)測的效率與結(jié)果可靠性）。
第二次體驗(yàn)評(píng)測的關(guān)鍵性結(jié)論：
得益于第一次評(píng)測的指引，我們發(fā)現(xiàn)在第二次評(píng)測中我們的產(chǎn)品在：內(nèi)容 、樣式、功能層面體驗(yàn)評(píng)測分都有非常不錯(cuò)的提升，也驗(yàn)證了針對(duì)性體驗(yàn)提升計(jì)劃，方向是正確的、結(jié)果是成功的。
通過依據(jù)對(duì)評(píng)測結(jié)果分析后的針對(duì)性回訪調(diào)研，也發(fā)現(xiàn)了一些之前缺乏關(guān)注的體驗(yàn)問題點(diǎn)。同時(shí) ，通過對(duì)功能評(píng)分?jǐn)?shù)據(jù)的詳細(xì)分析：明確圍繞產(chǎn)品某些特定模塊的創(chuàng)新挖掘，為下一步體驗(yàn)設(shè)計(jì)突破方向。
自己在心里其實(shí)，是將兩次評(píng)測定義為驗(yàn)證性評(píng)測，去驗(yàn)證我們的方法，我們的思考，我們的假設(shè)等等。
總結(jié)一下，通過兩次體驗(yàn)評(píng)測或驗(yàn)證我們都收獲了什么：
針對(duì)性體驗(yàn)優(yōu)化行動(dòng)路徑
- 我們驗(yàn)證并實(shí)踐了信息流體驗(yàn)評(píng)測方法
- 我們獲得了信息流體驗(yàn)評(píng)測的基點(diǎn)儲(chǔ)備
- 我們量化了產(chǎn)品當(dāng)前的體驗(yàn)水平以及與頭部競品的差異
- 基于評(píng)測我們最終完成信息流項(xiàng)目的體驗(yàn)升級(jí)計(jì)劃的最后一環(huán)，并得到了科學(xué)的驗(yàn)證。同時(shí)，具象化的解決了項(xiàng)目長期的體驗(yàn)困惑
- 進(jìn)一步提升了體驗(yàn)設(shè)計(jì)部門在項(xiàng)目組內(nèi)的“權(quán)威性”，變相提升了整體項(xiàng)目組的運(yùn)轉(zhuǎn)效率
- 解決了后面怎么走的問題，明確了創(chuàng)新方向，解決了資源投向的問題，也為項(xiàng)目中的設(shè)計(jì)決策提供了重要的新參考系
同時(shí)，經(jīng)過這兩次評(píng)測，我們也有一些思考或者說反思：
- 評(píng)測維度是否完真正徹底整覆蓋核心使用流程
- 有無更加效率的評(píng)測方式（線上vs線下，因?yàn)榍捌趯＜覀?cè)評(píng)估時(shí)間周期較長）
- 問卷設(shè)計(jì)是否非常合理（咨詢用研專家結(jié)合專家討論）
- 最終統(tǒng)計(jì)方式、結(jié)果是否合理且可信
- 需要推動(dòng)建立固定評(píng)測機(jī)制，從而產(chǎn)生長效收益
基于以上的思考與反思，我們組織了包含評(píng)測設(shè)計(jì)者、執(zhí)行者、參與者以及用研專家的復(fù)盤會(huì)，對(duì)評(píng)測方式進(jìn)行了如下幾個(gè)方面的優(yōu)化改進(jìn)：
- 重新梳理評(píng)測維度(結(jié)合全新的全新的維度拆解）對(duì)核心流程評(píng)測維度進(jìn)行細(xì)化
- 優(yōu)化題目&分?jǐn)?shù)（優(yōu)化不易理解的題目及題目循序，優(yōu)化題目總數(shù)與分?jǐn)?shù)設(shè)置梯度等使之評(píng)測過程更符合用戶使用與思考邏輯，降低評(píng)測難度。同時(shí)，提升評(píng)測結(jié)果的可靠性與統(tǒng)計(jì)難易度）
- 優(yōu)化評(píng)測流程（ 對(duì)評(píng)測流程細(xì)化，對(duì)每一個(gè)環(huán)節(jié)設(shè)定詳細(xì)的操作說明與注意事項(xiàng)，如：增加提前使用環(huán)節(jié)及其實(shí)施說明）
- 優(yōu)化數(shù)據(jù)計(jì)算機(jī)制（增加數(shù)據(jù)清洗環(huán)節(jié)，增加用戶評(píng)測問卷驗(yàn)證可靠性驗(yàn)證，，增加數(shù)據(jù)信度分析）
通過以上，我們優(yōu)化輸出了《信息流核心路徑感官體驗(yàn)評(píng)測》第三版。
同時(shí)，基于對(duì)評(píng)測過程效率的思考，我們嘗試啟用了去中心化評(píng)測形式（線上集中宣講，線下一段時(shí)間內(nèi)分散評(píng)測集中回收的評(píng)測方式）
基于對(duì)問卷可靠度的思考，我們?cè)O(shè)計(jì)了精簡版更“普世化”的用戶問卷，同步在線上向真實(shí)信息流普通用戶進(jìn)行投放?？紤]到信息流用戶問卷填寫意愿普遍較低的客觀事實(shí)，及問卷的屬性，結(jié)合用戶研究有效問卷回收的經(jīng)驗(yàn)值，我們?cè)O(shè)定了用戶側(cè)問卷回收的有效標(biāo)準(zhǔn)：最佳目標(biāo)500份，不少于200份。
通過參考業(yè)內(nèi)成熟經(jīng)驗(yàn)，及用研專家建議結(jié)合信息流體驗(yàn)評(píng)測的自身特征，我們?cè)O(shè)定了體驗(yàn)總評(píng)分 = 專家分*0.8 + 用戶分*0.2 ?的計(jì)算方式。
完成以上工作后，我們按照既定計(jì)劃，組織實(shí)施了第三次信息流核心路徑感官體驗(yàn)評(píng)測（結(jié)果詳細(xì)數(shù)據(jù)屬于敏感數(shù)據(jù) ，在此不做詳細(xì)介紹，大家見諒）
說一下第三次評(píng)測結(jié)果輸出的變化：
- 體驗(yàn)分構(gòu)成變?yōu)椋号c主流競品間的專家側(cè)對(duì)比分；由專家評(píng)分*0.8 + 用戶側(cè)評(píng)分*0.2 組成的信息流體驗(yàn)評(píng)測分
- 最終各項(xiàng)統(tǒng)計(jì)數(shù)據(jù)結(jié)果增加數(shù)據(jù)清洗與信度驗(yàn)證規(guī)則（設(shè)定有效數(shù)據(jù)要符合信度α值 ≥0.75）
我們修改最終體驗(yàn)計(jì)分規(guī)則的原因: 經(jīng)過多輪評(píng)測后，我們意識(shí)到體驗(yàn)對(duì)比不是最終目的，體驗(yàn)評(píng)測追蹤為最終目的，為使體驗(yàn)追蹤得分的更具代表性與權(quán)威性，參考業(yè)內(nèi)成熟經(jīng)驗(yàn)+咨詢用研專家，對(duì)得分計(jì)算方式進(jìn)行修改。
通過對(duì)比第三輪體驗(yàn)評(píng)測專家側(cè)與用戶側(cè)分?jǐn)?shù)，我們發(fā)現(xiàn)：兩側(cè)得分趨勢相同，用戶側(cè)普遍略高于專家側(cè)評(píng)分。結(jié)合我們?cè)u(píng)測方法的自身特點(diǎn)，這樣的結(jié)果符合我們前期預(yù)期，且評(píng)測方法的有效性也獲得了一種驗(yàn)證。
經(jīng)過三次體驗(yàn)評(píng)測實(shí)踐，評(píng)測方法有效性也得到了多維度的驗(yàn)證：
體驗(yàn)評(píng)測方法的有效性得到了多維度驗(yàn)證
驗(yàn)證維度：
- 三次體驗(yàn)評(píng)測專家反饋與趨勢分析
- 用研專家整體優(yōu)化與評(píng)估
- 專家側(cè)&用戶側(cè)得分對(duì)照分析
- 三次體驗(yàn)評(píng)測信度完整測試與分析
驗(yàn)證結(jié)果：
《信息流核心路徑感觀體驗(yàn)評(píng)測》第三版較為可靠，可真實(shí)反映APP體驗(yàn)水平
注：方法有效性驗(yàn)證，也可通過評(píng)測方法的效度分析進(jìn)行驗(yàn)證
通過第三次體驗(yàn)評(píng)測，我們又收獲了那些經(jīng)驗(yàn)：
- 專家側(cè)去中心化評(píng)測方式，由于缺乏有效可控的組織，導(dǎo)致出現(xiàn)較多無效數(shù)據(jù)
- 適當(dāng)放寬的評(píng)測專家選擇，導(dǎo)致前期宣講成本增高，結(jié)果不良數(shù)據(jù)增多
- 專家側(cè)評(píng)估形式，更適合有主持的中心化評(píng)估方式，可有效保證評(píng)測的有效性
- 專家側(cè)評(píng)估，要保證評(píng)測人員多數(shù)固定，可逐漸增強(qiáng)評(píng)價(jià)的結(jié)果的可靠性及評(píng)價(jià)效率
根據(jù)隨第三次評(píng)測同步收集的專家側(cè)對(duì)評(píng)測方式的建議，結(jié)合用研專家的意見對(duì)評(píng)測方法進(jìn)行最后一輪微調(diào)，形成終版《信息流核心路徑感官體驗(yàn)評(píng)測方法》。
由于上面講的三次體驗(yàn)評(píng)估流程比較長，我們簡單回顧一下：
三次體驗(yàn)度量階段目標(biāo)回顧
第一次度量：
模型與評(píng)測方法驗(yàn)證；獲得體驗(yàn)評(píng)測基點(diǎn)；理清與主競品體驗(yàn)差距；明確設(shè)計(jì)發(fā)力點(diǎn)。
第二次度量：
驗(yàn)證體驗(yàn)優(yōu)化方案成效，對(duì)評(píng)測流程的進(jìn)一步驗(yàn)證；研究評(píng)測方案的不足與優(yōu)化 方案；尋找下一步創(chuàng)新的發(fā)力點(diǎn)。
第三次度量：
評(píng)測方法的最終驗(yàn)證；制定并落地周期性體驗(yàn)評(píng)測機(jī)制；驗(yàn)證階段性優(yōu)化與創(chuàng)新全局影響；對(duì)體驗(yàn)的常規(guī)監(jiān)控。
終版《信息流核心路徑感官體驗(yàn)評(píng)測方法》一共由7部分組成：
《信息流核心路徑感官體驗(yàn)評(píng)測方法》構(gòu)成
我們也設(shè)定了信息流核心路徑感官體驗(yàn)評(píng)測方法 “閉環(huán)行動(dòng)路徑圖”：
信息流核心路徑感官體驗(yàn)評(píng)測方法 “閉環(huán)行動(dòng)路徑圖”
下面，我們回顧一下終版《信息流核心路徑感官體驗(yàn)評(píng)測方法》與“主流”評(píng)測方式。
評(píng)測維度上的對(duì)比 ?：
評(píng)測維度對(duì)比
與主流評(píng)測方式相比 ，我們的評(píng)測維度相對(duì)更聚焦，更符合我們自身的項(xiàng)目特點(diǎn)及面臨的階段性問題。
評(píng)測特征的對(duì)比：
評(píng)測維度特征對(duì)比
與主流評(píng)測方式相比 ，我們?nèi)狈?duì)產(chǎn)品全局關(guān)注度，但是，能夠換來更聚焦的評(píng)測，更靈活且實(shí)施成本底的評(píng)測方法，更高的評(píng)測運(yùn)轉(zhuǎn)效率，更能滿足我們項(xiàng)目當(dāng)前階段的迫切需求。
05 本文所講的要點(diǎn)回顧
用戶體驗(yàn)與業(yè)務(wù)價(jià)值強(qiáng)關(guān)聯(lián)，才能做到價(jià)值體現(xiàn)。
好的體驗(yàn)是更好的實(shí)現(xiàn)產(chǎn)品價(jià)值、用戶價(jià)值、商業(yè)價(jià)值、社會(huì)價(jià)值的交付。
什么是體驗(yàn)度量：
“用戶體驗(yàn)度量”通過一套可靠的測量體系 ，量化用戶體驗(yàn)；是用戶體驗(yàn)從“玄學(xué)”到“科學(xué)”的重要基礎(chǔ)；是做好體驗(yàn)管理和良性迭代的重要途徑；是更好的實(shí)現(xiàn)體驗(yàn)設(shè)計(jì)價(jià)值及體驗(yàn)設(shè)計(jì)體系化的關(guān)鍵路徑。
體驗(yàn)度量的重要性：
設(shè)計(jì)師是用戶體驗(yàn)的“構(gòu)建者”與“管理者”；如果不能很好的度量，就無法有效的管理；體驗(yàn)度量是設(shè)計(jì)師深挖價(jià)值的有效路徑，是輸出設(shè)計(jì)價(jià)值的靠譜手段。
體驗(yàn)度量的特點(diǎn)：
體驗(yàn)度量具有較強(qiáng)的業(yè)務(wù)特點(diǎn)：不同的業(yè)務(wù)類型、業(yè)務(wù)階段、業(yè)務(wù)規(guī)模、資源情況都會(huì)有與之相配的不同的合適的度量方式。
不同的 體驗(yàn)度量有較為一致關(guān)注角度：用戶感受、用戶行為、系統(tǒng)表現(xiàn)；方法雖多變，但思維統(tǒng)一，所以我講的如何度量不重要，重要的是如何思考。
體驗(yàn)度量方法的設(shè)計(jì)思路：
體驗(yàn)度量方法的設(shè)計(jì)思路
梳理體驗(yàn)度量方法設(shè)計(jì)的9個(gè)關(guān)鍵節(jié)點(diǎn)：
- 理清：項(xiàng)目現(xiàn)狀&階段
- 明確：可投入資源
- 制定：階段性目標(biāo)
- 提煉：有效評(píng)測維度
- 設(shè)計(jì)：評(píng)測方法與形式
- 挑選：評(píng)測專家&用戶
- 驗(yàn)證：評(píng)測方法效度
- 檢測：評(píng)測結(jié)果信度
- 構(gòu)建：閉環(huán)評(píng)測優(yōu)化路徑與周期性檢測機(jī)制
感謝大家耐心閱讀，文筆拙劣，觀者見諒，希望本篇文章能夠?qū)Υ蠹胰粘９ぷ?，尤其是?zhǔn)備進(jìn)行體驗(yàn)度量工作的同行們有所啟發(fā)。
作者：AaronCui ，Sogou-UED，退役老美工，耕田藝術(shù)家；公眾號(hào)：老美工聊設(shè)計(jì)
本文由 @AaronCui? 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。
題圖來自Unsplash，基于CC0協(xié)議
寫的很詳細(xì)，贊
愿有幫助，感謝讀完