有關設計師必備的體驗評估設計指南——本篇為機制篇，內容主要針對評測機制QMD存在的幾個問題：問題推動落地難、評估結論信服度低的問題提出了解決方法，介紹了建立可信賴評測機制的思路與方法，希望對你有所啟發。

秉承58同城“用戶第一”的核心價值觀，設計團隊建立以基礎體驗指標為評估標準、發掘體驗問題的評估機制，并借助內外部業務專家視角，對58同城各產品的重點場景進行評估，優化業務場景，從而提升各業務線的體驗，而這一套評測機制就是QMD。

在上一篇《設計師必備體驗評估設計指南（指標篇）》中提到，目前QMD存在的兩個難點，分別是：問題難推動落地、評估結論信服度低。針對目前難點，今年我們項目組對測評體系再次升級，推出了全新的QMD3.0。

我們將通過干貨滿滿的三篇連載文章，分別從【指標模型】【評估機制】【組織實踐】來全方位的分享體驗評估機制的升級經驗，歡迎大家的持續關注和探討。本篇為大家介紹：圍繞提高QMD主觀評價的可信度，通過信度檢驗，管控測評流程，建立人人可信賴的測評機制。

一、信服度低的原因

想要建立人人可信賴的測評機制，需要我們解決目前“結論信服低”這一難點。

在討論結論信服度的問題，我們需要知道QMD到底屬于什么類型的測評；按照測評變量的不同，我們可以講測評分類兩大類，主觀性測量和客觀性測量；舉個例子，主觀性測量類似簡答、論述題，客觀性測量類似單選、判斷題；而QMD是邀請專家對特定業務場景，根據特定指標進行量化評估，其評分會因為其評分專家的主觀判斷影響，因此我們的QMD就是屬于主觀性測量。

這就導致在評分過程中，因為評分者的知識結構（也就是對世界的認知、經驗等）、判斷水平（也就是對評分標準的認知和理解）、個人偏好（對設計風格、操作習慣偏好等）的不同，使評分者的評分存在差異。

因此亟需通過某種技術手段，去控制測量誤差，提高主觀變量測量的精確性，而這一技術手段就是下文將要提到的評分者信度。

二、檢驗信服度的手段

1. 什么是信度

在了解評分者信度之前，我們需要知道什么是信度。信度是指測量結果的一致性程度，亦稱可靠性程度，它衡量的指標是：對同一對象測量得到的結果是否一致。舉個例子，當你拿桿秤去測量10斤的西瓜，過一個月之后，再去測量一個10斤的西瓜，它還是10斤，說明這個秤就是可信的，這就是信度；而這個西瓜是10斤，測量出來也是10斤，說明這個秤是有效的，這就是效度。

2. 什么是評分者信度

而評分者信度就是信度的一部分，其實評分者信度是若干個評分者對同一組測試結果評分的一致性程度，他關注的是不同組間評分者之間的共同差異的分析指標，也就是說側重處理評分者組間差異的一般趨勢，主要目的是為了測量不同評分者對同一樣本是否給出同一正確的分數指標，因此為檢驗QMD中各專家評分是否一致，選擇了評分者信度作為分數的檢驗指標。

測量評分者信度的統計指標及方法很多，那我們需要如何選擇適合QMD的統計指標呢？在根據QMD不同的測量特點、數據類型、評分人數等，我們QMD選擇的測量方式是組間相關系數（ICC），也就是通過方差分析來計算總體變異多大程度上屬于總體的特征。

3. 如何分析評分者信度

選定測量方法后，具體怎么執行呢？就是萬能的SPSS軟件，按照：Analyze—Scale— Reliability Analysis 步驟得來，根據分析結果可以得知 ，本次分析的評分者評分信度是否一致。

舉個例子，在針對某個業務線進行QMD評估，對6位專家的評分進行評分者信度分析，結果表明，ICC=0.9704>0.75，p<0.05,說明評分者的一致性是可信的?？梢姴煌u分者在評價產品，在各項指標上評分是比較一致的，其評分者信度是比較高的 。具體分析過程如下：

三、提高信服度的方法

1. 測評流程可靠

但是在整個過程項目執行過程中，我們僅僅只做信度檢驗就足夠了嗎？其實不是的，分數只是一個判斷的依據，或者說是過程的抓手，我們除了關注分數本身以外，更需要關注，到底是哪些因素導致我們分數產生隨機誤差，進而在源頭上提高我們的分數的信服度。?

那影響評分者信度的因素有哪些呢？總結有以下三部分：

• 測評工具性能
• 評分者篩選
• 實施方案的標準化流程

在了解到這些影響因素后，在整體執行過程中，才能針對性的進行執行、管控，才能最終提高結論的信服度，具體執行過程如下圖所示：

針對測評工具性能，在整個指標制定和選取過程中，項目組均進行科學嚴謹的推理，具體推理過程大家可回顧上期文章《設計師必備體驗評估設計指南（指標篇)》，為大家展示了整體測評指標的科學合理性，此外在測評工具中不僅講究科學合理，還要求工具使用者體驗良好，對其指標進行解釋說明、重點的標記等；第二大模塊則是評分者篩選中，主要分為3部分：

• 專家人選篩選
• 專家認知對齊
• 內在標準穩定

也就是說通過一定的要求、人員配置等進行評分者篩選，通過提前的培訓對齊評分者認知、以及選擇心理和生理健康良好的評分者進行打分；在第三大模塊則是保證實測方案的標準化，也就是在實測流程、會場環境的制定和布置過程中，按照標準化、模塊化進行執行。

2. 感知效果可靠

當然，大家以為僅僅做了哪些流程管控就結束了嗎？我們想要分數信服度高，也就是可靠性高，不僅需要流程可靠，更需要讓使用者對結果感知可靠？

（1）什么是可靠性
其實可靠性是指一個人通過對一個產品的可感知效果與他期望值相比較后，所形成的可靠或不可靠的感覺狀態，簡單的數據表示就是用戶感知效果-內心期望，圖片表示更清晰，但感知效果契合且高于內心期望時，人們便產生了可靠的感覺狀態，低于則相反，我們難以控制其內心期望，因此將在感知效果上下功夫。

（2）如何讓可靠更易被感知

從四個環節入手，最開始明確業務預期、中間的利益相關人全程參與、結尾的結果復議，和最后的驗證落地效果，采用各類方法，讓大家從整體環節去感知可靠性。

1. 明確業務預期：在最開始的明確業務預期中，除了從業務視角去制定與業務契合的測評體系外，更是邀請利益相關人共同制定指標細則，從理論的基礎上讓大家感知更可靠。
2. 過程全員參與：在過程中，以前僅邀請設計師參評，現在不僅邀請設計師，更是邀請產品一起參評，從流程上讓大家感知更可靠。
3. 結果復議防錯：第三點結果復議，也是本次升級后QMD的一大亮點，我們建立的防錯機制，以前結果出來便出來，業務方僅能看，沒有可反饋渠道，因此本次建立的防錯機制則是建立業務方對結果復議的渠道，從機制上讓大家感知更可靠。
4. 驗證落地效果：第四驗證落地效果，不僅關注跟進問題改進進度，更是關注跟進QMD結論落地后為業務目標帶來的提升，從效果上讓大家感知更可靠。

四?????、小結

在這次升級過程中，其實想表達的是，分數本身不重要，如何通過分數去管控過程，才是其真正的價值所在。因此，在本次升級過程中，結合使用評分者信度、流程管理和機制升級，從而從實際效果和用戶感知上全面提高可靠性。