有關設計師必備的體驗評估設計指南——本篇為組織篇，內容從策劃、評估、跟進、復盤、推廣、改正等步驟詳細介紹了組織體驗評估的整個過程，整理了升級的思路以及落地執行的詳細流程，希望對你有所幫助。

前面兩篇文章介紹了58UXD體驗評估體系升級的思路：

• 設計師必備體驗評估設計指南（指標篇)
• 設計師必備體驗評估設計指南（機制篇)

本篇將介紹如何有序組織體驗評估，并將詳細講解本次QMD升級的要點、難點是如何落地執行的。

我們選用質量管理工具PDCA來組織體驗評估，做體驗管理。以季度為評估周期，一個季度完成一次PDCA循環后，我們持續迭代評估體系，從而更好的完成下一個周期的體驗評估。

一、策劃-Plan

策劃的主要內容就是大家很熟悉的5W1H了。

1.評估目標-Why

如第一篇文章所述，新的體驗評估機制，評估目標從單一的提升體驗質量，調整成契合業務目標的體驗質量。參與體驗評估，業務設計師的預期有：

1. 提升產品使用體驗；
2. 提升業務核心指標。

QMD項目組需要兼顧參與評估業務的預期，目標有：

1. 采用可靠的評估機制，度量契合業務目標的體驗，發掘影響業務目標的體驗問題，確保評估結果可信、可靠并易感知；
2. 確保按照規劃周期性做體驗評估、同步結論、跟進優化；
3. 驗證各個參評業務的評估指標、評估機制的可靠性。

2.相關人員-Who

想要按照以上預期高質量的完成體驗評估，離不開組織架構的支持。58UXD設立了由交互設計師和用研工程師組成的體驗管理組。由體驗管理組來組織全部業務的體驗考核、體驗評估、體驗展示、體驗跟進等一系列橫向體驗管理項目。

QMD作為體驗管理的重要工具，由體驗管理組中的QMD項目組來牽頭策劃完成。有同學對58UXD其他體驗管理工具感興趣的話，可以在評論區留言。明確了組織方及其職責，根據新的評估機制，還需要每個業務6名評估專家（2名產品、2名交互、2名視覺）。

QMD項目組采取了參評業務產品、交互、視覺交叉互評的方式，由第二篇文章介紹的評分者信度保障結果的可靠性。在新的體驗評估機制下，有很多QMD項目組和業務設計師需要溝通協作的節點。

為了高效運行評估機制，QMD項目組在各個參評業務都明確了一位QMD對接人。各個角色的職責明確如下：

3.評估業務-What

新的體驗評估機制對參評業務也有了新的要求。出于可行性和投入產出比的考慮，我們根據以下4點，深入了解各個業務的情況，做出研判，最終確定了參評業務。

1. 當前階段業務對于體驗的重視程度如何；
2. 業務是否有明確的、可持續監控的目標；
3. 業務迭代的頻率如何；
4. 業務是否已達到一定用戶規模。

4.時間規劃-When

如前所述，新的體驗評估機制關鍵節點多，時間跨度長，需要周密的規劃和嚴謹的時間管理。QMD項目組是以季度為單位做周期性體驗評估的，所以在季度初就會做好整個季度的規劃，并嚴格執行。同時采用周報制來及時處理意外事件，保障項目準時完成。

另外值得提一下評估場次時間的確定，除了視評估專家的時間安排外，也需要考慮線上測評的版本是否符合業務預期，晚幾天可能就到了發版時間，是否需要評估最新版，需要綜合情況和業務協商。同時也要求QMD項目組在規劃之初，就要留好類似這種情況的buffer。

5.評估地點-Where

確定好評估時間，就可以提前約會議室了。然而我們在2022年的Q2和Q4，遇到了兩次因疫情大量同事遠程辦公的情況。如此我們需要保證線上評估或者部分同學線上評估的結果可靠性。原理如第二篇文章所述，需要保障人員可靠性、認知一致性，標準化實施方案。

6.怎么評估-How

給到專家評估，我們需要至少準備評分工具和主觀問題反饋工具。這些都需要以評估指標為基礎，我們從第一篇文章了解到指標的制定原理后，各個業務的評估指標具體怎么確定呢？

首先，調整基礎指標：我們知道業務的評估指標由基礎指標和自定義指標構成的，我們在制定指標前需要根據新的指標體系需要，重新審視原有的基礎指標。我們認為一個良好的基礎指標，應該是清晰、準確、普適、易懂的；我們邀請專家對這樣的指標進行評估，應該是對體驗設計有指導意義的。

所以對基礎指標做了如下調整：評估指標由原來的一級指標改為二級指標，顆粒度更細，聚焦到具體問題；相似指標合并，二級指標由15個合并成10個；增加動效、語義等方面的評估；評估指引描述方式更直白、易理解；等等。

我們把基礎指標給到業務，由業務設計師參考以下幾個原則制定個性化指標體系。

1. GSM模型（Goal- Signal- Metric）：方法在第一篇文章中；
2. 反向思考：場景拆解到什么程度，可以結合業務的實際需要，由希望監控的顆粒度來定，以結果的實用性為準；
3. 有跡可循：場景的設計目標，需要是可量化、可監控的，一方面可以追蹤優化效果，另一方面可以反向驗證指標制定的合理性；
4. 因地制宜：評估指標需要足夠細化、貼合業務場景。比如基礎指標中的“品牌”指標，在基礎指標中的描述是“”，是考慮普適性的描述方式。而其在不同業務中的具體元素、形式、原則等體驗要素都差別較大，所以需要額外說明當前業務的“品牌”具體需要達到什么體驗要求。有些業務會額外提供一份品牌手冊，供專家評估參考；
5. 穩定性：指標體系內的元素需要在一定時間范圍內保持穩定，盡量不因業務的調整而頻繁變化。

有了細化的評估指標制定指引，我們向參評業務做了詳盡的講解，并充分探討其在各個業務的可行性。業務設計師按照要求，結合實際情況，制定了由總目標、影響總目標的場景、場景的評估指標、評估指標的詳細說明四個部分構成的指標體系。

而后交由QMD項目組審核，確定無誤后，由業務設計師根據模版，自行制定體驗評估要用到的評分工具和主觀問題反饋工具，這里我們用的分別是58問卷和在線協作表格。

二、評估-Do

1.體驗評估

一切準備就緒后，就可以邀請專家來評估了。就像第二篇文章介紹的那樣，為了保障評估結果的可靠性，我們對評估工具、專家、環境等都制定了標準化方案。下圖是QMD項目組在專家評估前宣講的評估目標、機制及評估注意事項。

2.信度評估

>專家評估后，我們就拿到了評分問卷和主觀問題記錄表的原始數據。首先最重要的一件事就是預處理評分數據，評估信度，完成校驗閉環。我們采用的信度可靠對照關系如下：

如果第一次信度評估可靠程度不高，則需要調整數據組，重新進行信度評估，直至信度可靠。我們并非每一場體驗評估都一帆風順，在疫情期間遠程體驗評估時，我們就遇到了無論如何調整數據組都不能達到信度可靠的結果的情況。

發現了這種情況，我們立即響應，臨時邀約更多專家，快速加測了一場。欣慰的是，兩場評估結果合并后，經過數據組調整，評分信度可靠。

3.業務復議

通過第二篇文章我們知道，復議階段的目標一是矯正部分理解有偏差的主觀問題，二是讓業務盡快了解QMD的結論，感受到其可靠可信，快速迭代優化問題。所以：

• 復議呈現給業務的內容有：評分、分數對比、對應的主觀問題、截圖等；
• 需要留給業務復議的反饋空間；
• 想要做體驗評估的你，需要具備一定的數據分析基礎和表格操作技巧。

4.輸出報告

報告是為了讓體驗評估結論更加直觀、可信，便于查閱與傳播。我們對報告做了一些調整：

1. 評分和問題對應展示；
2. 評分間差距標記更加清晰明了；
3. 增加QMD項目組的優化建議。希望業務重視分數洼地、不及競品的指標對應的影響較大的主觀建議。

高優場景/指標/問題判斷標準如下，供參考：

• a.權重最高或較高；
• b.和均值比差10%/8%/5%/3%以上；
• c.和競品比差10%/8%/5%/3%以上；
• d.同比/環比差10%/8%/5%/3%以上

三、體驗跟進&項目復盤-Check

前面兩篇文章介紹的體驗評估指標體系和評估機制，是我們通過現狀分析、理論分析等綜合確定的，此時我們需要校驗兩點：??一是需要校驗根據認知、經驗主觀拆解的評估指標是否符合預期；二是需要校驗QMD機制全程保障的專家評估結論是否可靠。

我們采取的校驗方式，就是看體驗評估的結論應用到業務的體驗優化后，是否帶來如預期程度的業務指標的提升。所以我們在報告同步后，下一次體驗評估前，留足業務改進優化的時間，組織參評業務復盤QMD結論落地情況。由各個業務闡述以下內容：

1. 問題發掘&解決：QMD報告分析&洞察、解決思路&方案、上線效果&數據、結論；
2. 項目管理：優化進度、迭代計劃。

同時為了激勵、幫助業務設計師推動結論落地，我們邀請設計總監、設計負責人和高階設計師從三個維度為業務復盤的內容打分、點評，包括邏輯合理度、指標結果相關度、進度。

同時QMD項目組收獲了業務設計師對于整個體驗評估機制的一些想法，結合組織過程遇到的問題和思考，做了周期性的復盤。

四、推廣&改正-Action

通過業務復盤及評委打分、點評，我們了解到業務的大部分迭代效果都是正向的，小部分負向效果的迭代需要嘗試其他設計方案。所以目前沒有因為復盤結果而要調整指標的情況。由此印證QMD體驗評估的結論是可靠的，整個體驗評估流程也是可靠的。

如果有業務出現按照QMD的結論設計方案，驗證發現預期的業務數據沒有提升或者反而下降，則需要反思指標制定、分析、洞察、解決思路、方案是否有問題，逐一排查關鍵環節，及時作出調整。

如開篇所述，QMD項目組也在每次體驗評估完成后進行復盤，持續優化評估機制，目前整個流程已經形成SOP，便于高效組織每次評估，跟緊業務節奏，打好配合。

五、最后

以上詳盡介紹了我們QMD項目組，組織58UXD各個業務體驗評估的過程與思考。我們認為整個體驗評估體系的升級和實踐，最關鍵的思考邏輯就是閉環管理，這個邏輯貫穿始終，讓所有人為因素的影響降到最低，保障過程和結果可靠可信。

我們設定的閉環管理一共有以下三個方面：

1. 在策劃環節，各業務制定的指標體系、整理的評估工具，都由QMD項目組審核，確保指標拆解符合指引要求，評估工具準確無誤；
2. 在評估環節，各個業務的專家的評分都需要評估評分者信度，確保評分可靠；
3. 在跟進環節，通過業務復盤了解優化效果，校驗指標制定的可靠性，以及整個QMD新機制為業務體驗設計帶來的價值。