起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識圍繞設計驗證，解析定量分析的用途與用法
設計驗證不僅能夠讓設計流程變得更加圓滿，也能讓設計方案更有說服力。本文將對設計驗證中定量分析的用途與用法進行詳細介紹。
本文以蘇寧集團大數據中心“慧眼”項目的改版為例，圍繞設計驗證淺談定量分析的用途與用法：設計驗證、定性與定量的概念與關系，以及為什么選擇定量分析。
- 以項目為例，簡述改版經過，并引出設計驗證的分析源頭（可能存在的問題）；
- 以項目中的頁面為例，簡述定量分析的做法與流程（GSM模型）；
- 以頁面中的任務為例，簡述衡量指標的用法；
- 一些需要考慮的問題。
▲本文內容大綱
一、源起
每一個項目都離不開“需求-設計-開發-上線-再需求-再設計……”這樣的衍進路徑。
在這樣的無限循環中，大量工作都有賴于產品、設計、開發、測試等崗位成員的項目經驗，只要任一環節出現問題都會導致嚴重的后果。
如何優化這樣的流程呢？對于設計師而言，增加設計驗證是其中一種行之有效的辦法。（死亡螺旋模型與部分優化方法如下圖所示）
▲死亡螺旋
1.1 什么是設計驗證
設計是藝術與技術的結合。——包豪斯
當設計稿交付之后，設計師的工作看似已經結束，但在一個完整的項目流程中，還遠沒有完成。
除了落地后的視覺走查，設計師也可以關注下設計方案在上線后是否達到了項目初期所設定的各項指標，如PV、UV、IP等。
達到預期的，設計師可以總結設計經驗用以提升未來的設計準確率；發現問題的，也可以分析方案的缺陷，在下次改版當中進行優化。而這樣的一個環節就是設計驗證。
▲設計驗證改善流程
1.2 什么是定量分析
設計驗證可以分為定性分析與定量分析。
定性分析是源于社會科學的一種研究方法，通過“是什么”、“怎么樣”、“為什么”等主觀性問題進行分析。
定性分析憑借分析者的直覺和經驗，通過分析過去、現在的延續狀況及最新的信息資料，對分析對象的性質、特點、發展變化規律作出判斷的一種方法。
定量分析則是源于數學的一種研究方法，通過“做了什么”、“做了多少次”、“花了多長時間”等客觀性問題進行分析。定量分析既重視觀察實驗、收集經驗資料，又重視邏輯思維演繹推理，應用假說使得觀察實驗方法和數學演繹形式結合起來。
常用的分析方法如下圖所示：
▲用戶研究方法
定性分析與定量分析應該是統一的，相互補充的；定性分析是定量分析的基本前提，沒有定性的定量是一種盲目的、毫無價值的定量；定量分析使定性分析更加科學、準確，它可以促使定性分析得出廣泛而深入的結論。
本文主要談一談定量分析的做法與用法。為什么選擇定量而非定性進行研究呢？是因為蘇寧擁有大量的操作信息能夠有效的提高數據可信度，同時定量分析也可以通過項目初期所設定的各項指標快速完成。
二、慧眼項目的界面衍進
2.1 慧眼項目介紹與用戶訴求的衍進
以前蘇寧有著多個數據分析產品，數據分析師們需要打開多個產品頁面才能完成日常的工作，而慧眼就是為了解決這一問題的。
慧眼以蘇寧唯一的數據門戶為目標，以整合集團所有數據分析產品的資源為途徑，力求將所有數據集合展示在一起，以此大大提高業務用戶的工作效率。
上線一段時間后發現，作為數據門戶，慧眼在主要用以展示數據的模塊里，大量的空間被導航所占用，而數據展示的區域則相對較小，影響了觀看體驗。因此在此次改版中，擴大各模塊中的數據看板面積就成了最主要的需求。
2.2 界面樣式的衍進
以“我的必看”為例，初版慧眼頁面中數據看板僅占整體頁面的46.3%面積。
▲慧眼頁面初版
為了完成此次改版的主要需求，擴大數據看板的最直接方法其實就是隱藏，即將看板以外的其他模塊盡可能的隱藏起來，這就是方案一的設計思路：
- 用戶進入我的必看時自動隱藏左側的二級導航；
- 為報表列表區域增加隱藏/展開功能，用戶點擊隱藏收起列表區域；點擊展開頁面回到布局的初始狀態。
方案一
通過釋放二級導航和隱藏報表列表增加展示面積，好處在于頁面整體框架沒有大的變動，改版成本較低。
經過計算可知，方案一將數據看板的面積從原有的46.3%提升到了58.4%和69.4%的占比。具體改動后的示意圖如下所示：
▲慧眼頁面優化方案一
但方案一仍然沒有最大化數據看板的可用面積，為了進一步探索擴大的方案，在方案二中首先從慧眼的結構梳理入手。
如下圖所示，在“我的必看”中，根據功能不同頁面可以分為導航區域（綠色）與查看報表區域（橘色）：導航區域由一級導航、二級導航、面包屑組成；查看報表區域由篩選分析主題一、篩選分析主題二、報表查詢、報表列表、數據看板、輔助功能區組成。
▲慧眼頁面優化方案二
慧眼的設計定位是數據門戶，在衡量了產品整體框架、用戶操作習慣、并橫向對比了其他門戶網站，對導航區域作出3步調整：
- 將頁面導航區域中的二級導航整合到頂部的一級導航中；
- 去掉面包屑導航：因為報表名稱在該頁面中重復出現有三次，分別位于面包屑、報表列表、報表三處，所以保留親密性最強的報表處名稱；
- 在頂部菜單Logo處右側增加定位：因為面包屑去掉后，用戶可能會當前頁面的位置產生困惑，所以在一級導航上增加定位信息。
▲ 慧眼導航區域新版
除了導航區域的調整，針對查看報表區域的結構梳理則主要根據功能重要性、使用人數、使用頻次這三個維度進行，此區域下的功能被分出了三重優先級：
▲慧眼報表區域優先級
根據此優先級，在方案二中將二級優先級中的內容整合在一起，并以懸浮窗的形式固定在頁面左側。用戶進入我的必看后，頁面初始樣式如下所示。
▲慧眼頁面方案二——頁面初始樣式
當用戶需要打開報表時，將鼠標移入篩選主題區域，二級優先級內容展開顯示；鼠標移出，再次回到初始布局樣式。按照此方案調整，數據看板的面積將達到90.9%的占比。
▲方案二 慧眼頁面方案二—— 鼠標移入篩選主題區域樣式
2.3 可能存在的問題
方案二的面積占比已經大大滿足了本次改版的主要需求，但相應的調整也會產生一定的影響。
比如報表列表被折疊后，當用戶想要打開一張新報表時就會產生“怎么打開”“去哪打開”的疑惑，這種疑惑是否會影響任務的完成度或完成效率？這種變化具體會產生怎樣的影響？變化的程度是否可以接受？
這一系列問題都可以在設計驗證環節通過定量分析的方式落實到具體指標進行衡量。
三、設計驗證的應用
3.1 慧眼的用戶體驗目標
慧眼的整體目標是作為蘇寧集團內部唯一的數據門戶，為用戶提供統一的看數平臺，不斷提升業務用戶日常數據分析效率。而此次改版的顯性需求是解決報表顯示區域不夠大的問題，但隱性需求則是在此前提下盡量不降低其他區域的使用體驗。在設計與設計驗證時，都需要圍繞這些目標進行。
用戶體驗目標能夠在設計與設計驗證環節提出指導意見，同時也能在定量分析的推導方向上產生定性作用。
3.2 定量分析的指標推導
掌握了產品的用戶體驗目標，就可以通過一些方法模型推導出定量分析所需要的衡量指標，而GSM就是被廣泛使用的一種模型。
什么是GSM呢？GSM是Google的用戶體驗團隊提出的一種量化用戶體驗的分析模型。GSM是目標（Goal）、信號（Signal）、指標（Metric）三者的英文首字母。目標，即設計目標，是需要通過設計手段解決的問題；信號，即現象信號，是用戶會出現的行為方式；指標，即衡量指標，是基于設計目標，將用戶行為量化為可衡量的指標。
因此GSM就是一種通過目標（Goal）→信號（Signal）→指標（Metric）的推導路徑將本身抽象的目標轉化為具象的指標的分析模型。
▲方案二 GSM模型
如何運用GSM分析模型呢？我們可以圍繞產品的用戶體驗目標，假定用戶能夠完成這些目標，在此情況下用戶行為會出現什么表現與信號，列舉并選出價值高且能夠收集的部分，將信號轉化為數據項，也就得到了相應的衡量指標。
當然如果假定用戶無法完成目標，也可以分析得出相應的指標。在做設計驗證時我們可以優先從任務成功、任務時間、錯誤、效率、易學性這5個方向進行分析：
▲5個常見的用戶體驗指標
當然除了這種以具體任務為目標通過模型推導的指標，改版對訪問數、獨立訪客、獨立IP、網站訪問量等指標的影響也是定量分析中重要的組成部分。
3.3 指標的用途與用法
以方案二中“打開新報表”這一任務為例，運用GSM模型可以推導出的相應現象信號與衡量指標，如下所示：
▲指標的操作定義
以其中一項“任務時間→用戶在哪個環節花費時間最久”為例，這一任務可以拆分為下圖所示的操作節點與流程。
▲任務操作流程拆分
那么任務時間在節點與流程中起到什么樣的分析用途呢？首先用戶進入此頁面后，會打開默認主題下的默認報表，所以完美狀態下用戶進入此模塊默認打開的報表就是用戶最需要查看和分析的報表。
因此當用戶在下圖所示的環節中的停留時間較短，即進入頁面后馬上準備打開新報表或切換新主題，就可以考慮是否默認主題或主題下的默認報表不夠準確。
其次如果下圖所示的幾個環節停留時間較長，則需要考慮用戶在查找對應報表時是否存在困惑。
例如，是否當前主題下報表較多，不好找到對應報表；是否不知道報表在具體哪一個分析主題下。
當然如下圖所示的幾個環節雖然在上一流程中已經存在，但這種操作通常意味著錯誤的存在。雖然記錄“任務時間”同樣有助于定量分析，但在此情況下記錄“點擊次數”的成本會遠小于任務時間，所以建議下圖的流程放在“錯誤”模型中進行分析。
當通過設計驗證發現問題后就可以在改版中進行設計優化。
舉例來說，如果默認的推薦報表并不準確時，可以通過設定告警的方式提醒報表配置人員提前調整默認報表；或者在離開頁面時保留瀏覽記錄并在下次進入時自動打開。
如果用戶在查找對應報表時存在困惑，可以減少當前主題下報表數量或者對報表增加自定義排序功能等?？梢园l現設計驗證在衡量設計方案的優劣與指導體驗設計優化上都有著重要的作用。
3.4 指標數據的可信程度
在分析獲得的指標數據后，常會出現一個疑惑，即如果用戶操作到一半時突然被其他事中斷了，這種情況就會出現一個異常指標（即離群值，如下圖所示）。
如果將這種異常指標也同樣摻雜起來進行分析，得出的結果就會出現偏差，在這種情況下可以引入置信區間的概念。
▲置信區間
置信區間是指由樣本統計量所構造的總體參數的估計區間。一個概率樣本的置信區間是對這個樣本的某個總體參數的區間估計。
置信區間展現的是這個參數的真實值在一定概率上的可信程度，但對此本文就不再展開了。
總結
本文通過對設計思路衍進過程的描述引出設計驗證中定量分析的用途與用法。
設計驗證作為設計中不可缺少的一塊拼圖，能夠讓設計流程變得更加圓滿，同時也能讓設計方案更有說服力。而定量分析通過對具體指標數據的對比和分析，能夠幫助設計師判斷或預測設計方案的合理性，也能夠為方案的說服力提供堅定的后盾。
篇幅所限，本文也有部分內容闡述的較為概括。例如界面的衍進并沒有給出完整的設計背景；分析模型推導出的指標價值與效率是不同的；指標在開發過程中產生的成本也大不相同，這些問題希望能夠通過接下來的文章分別予以闡述。
希望通過本文能夠讓更多相關領域的朋友對設計驗證環節與定量分析的用途用法產生興趣并引起重視。
作者：董一男，IT總部大數據中心 設計經理，「特長」不會用戶研究的數據分析專家不是好攝影師，「屬性」能抗能打的“小金剛”，「愛好」玩跨界
本文由@董一男 原創發布于人人都是產品經理。未經許可，禁止轉載
題圖來自Unsplash，基于CC0協議
蘇寧UED官方公眾號：蘇寧易購用戶體驗（snygued）
蘇寧UED官方公眾號更名為：蘇寧設計
請問文中置信區間算出來有沒有結論？是什么結論？有沒有詳細的解釋置信區間 到 可信程度的計算過程？
舉例來講，置信區間最終的描述性結論可以為：“該任務的總體平均完成時間為30±2秒，數據可信度為95%?！痹撁枋隹梢赃\用在分析結論中，用以增強報告的嚴謹性和可靠性。
除此之外，也可以用在研究結論的可視化圖表（或者數據監控）中。去掉異常值后，可視化圖表的閱讀性會大大增強，原因可參考文中兩張圖片。
常用對置信水平有99%、95%、90%，具體選用哪種水平主要取決于你希望對數據的把握程度。
置信區間的具體使用方法可以參照Excel中Confidence函數
請問這個黃色的點是根據什么打出來的
圓點都是獲得的數據在坐標軸上的具現，黃色是正常數據，紅色為異常數據。而如何判斷獲得的數據哪些是“正常數據”，哪些為“異常數據”就需要依賴置信區間的算式去計算。
舉例來說
1. 坐標：假設X軸為操作時長，Y軸為點擊次數；
2. 事件：如果員工甲操作時突然出去開會，會后繼續未完的操作
3. 結果：則會得到一個點擊數正常但操作時長超長的值
3. 現象：即圖中的紅點位置。
厲害