科學區分設計對錯——數據思維教你5步驗證

1 評論 7123 瀏覽 16 收藏 15 分鐘

不管是在產品的成長初期探索方向,還是產品的成熟期商業化階段,使用數據思維都可以幫助產品快速迭代,調整方向。

日常工作中,在產品原型設計階段,很多時候產品經理和設計師評估設計方案,會存在隱憂:

  • 設計方案的改進方向對嗎,為什么一定要改掉“舊版”?契機到了嗎?
  • 設計方案一改再改,多個版本到底哪個方案更好?好在哪里?

這是因為設計師在處理設計方案的時候,大部分采用了用戶訪談,競品分析,可用性測試甚至直覺經驗判斷等定性的方式,即使使用定量問卷,也無法直接詢問“哪個方案更好?”這種用戶“容易說謊”的問題。這就使得設計方案的推導具有一定的主觀性,在C端產品的設計中尤為容易遭受質疑。

體驗設計要更“科學”,就要求設計師培養起數據意識,將體驗設計當成一場“實驗”,講求從產品數據中發現問題,找到問題信息,并最終驗證方案的有效性。

不管是在產品的成長初期探索方向,還是產品的成熟期商業化階段,使用數據思維都可以幫助產品快速迭代,調整方向。如何進行數據思維的方案設計呢,可以歸類為一個框架:

科學區分設計對錯——數據思維教你5步驗證

圖1 數據思維的框架

比如:微信信用卡還款是一個體量較大的成熟期產品,一方面用戶養成了固有習慣,不適合大刀闊斧的進行版本優化;另一方面,小的體驗改動也不一定會帶來數據的提升。

因此就對應了文章開頭所說的隱憂,這個時候采用數據驗證的方式來進行一些設計方案的判斷,是比較合適的方法。

下面我將結合最近在做微信信用卡還款-分期還款改版的產品案例,按照上述框架,詳細講解一下進行版本A/B test和數據驗證的過程。

(當然更大功能的迭代需要首先收集數據信息,進行數據分析,結合定性方法,再進行上線測試數據驗證,越謹慎科學越好。因為分期還款流程簡單,因此著重關注改版數據驗證。)

一、明確目標

對于設計方案來說,明確目標是第一步的。這個目標可能脫胎于產品大的方向,比如拉新、活躍、商業化等等,對應到具體的產品流程中,可能就是提升轉化率,提升客單價,提升用戶粘性等等。

拿本次要改進的分期還款設計來說,分期還款既是一種為用戶提供的還信用卡的補充方式(用戶價值),又可以通過和銀行合作獲得分潤(商業價值)。

分期的接入有一個過程,從2016年到現在,有一個銀行遞增的過程。功能搭建完成后,分潤模式可以幫助我們明確分期方案的業務目標為:提升用戶分期筆數。(至于目標設定的道德倫理和誠實設計,是另一個話題了)

科學區分設計對錯——數據思維教你5步驗證

圖2 分期還款銀行不斷接入

二、發掘問題/機會點

明確目標之后,需要對產品流程進行分析,進行指標的進一步拆分??匆幌铝鞒讨心男┲笜说奶嵘兄谀繕说膶崿F,比如在分期流程中,提升用戶筆數可以拆分為:增加分期用戶的數量和點擊用戶的轉化率。也就是在流程中的第二、第三步是最容易完成目標的,縮小了問題的范圍。

科學區分設計對錯——數據思維教你5步驗證

圖3 分期流程圖

理想的情況下,針對第二步和第三步可以有很多種方案,針對關鍵信息進行排列組合直到找到最優解(如谷歌設計沖刺等方法可以提供幫助)。

但是在本次改版里,我們可以通過走查線上版本定位體驗問題,提出改進假設。同時線上數據走查也為后續對比做準備。

科學區分設計對錯——數據思維教你5步驗證

圖4 線上分期還款頁面走查

走查后,通過定性分析和點擊數據總結問題如下:

  1. 入口弱 分期還款放置在“更多還款方式”中,用戶瀏覽量低;
  2. 金額不清晰 頁面中出現“能分期的金額”和“每期要還金額”“手續費”,且有可能與前一個頁面中的本期要還款的總金額有差距(因為銀行分期金額是由系統測算給出的);
  3. 用戶試算不便 在選擇分期的期數和金額對比之間存在間隔,多種分期期數是隱藏的。

三、提出假設

要提升的關鍵指標已經拆分:增加分期用戶的數量和點擊用戶的轉化率。

要解決的頁面問題點也已經達成共識,此時就可以著手提供一個方案了——也可以稱之為一個假設。

方案假設需要關注以下信息:

(1)核心用戶群(用戶標簽和分類)

在本次分期用戶中“核心用戶群”的提取不在此贅述,一是因為分期銀行用戶包本身有一個區分;二是由于時間問題沒有提取完整用戶畫像,后續接入bi系統再進行仔細盤查。

(2)需要優化的變量

本方案中主要是對分期中用戶最關心的變量“期數和手續費”的展示進行了優化。

(3)方案要實現的目標是什么

也就是方案設計之初,我們想得到什么結果。上文中已經提到了,增加平臺的商業收入,為此要提升分期還款的筆數。

(4)方案設計的依據是什么

在設計方案的時候,制定了設計原則,如下圖:

科學區分設計對錯——數據思維教你5步驗證

圖5 設計原則

設計原則是在第二步做問題定位的時候推導出來的,作為后續方案產生的依據。

科學區分設計對錯——數據思維教你5步驗證

圖6 界面元素規劃

需要注意的是在A和B方案之間盡量控制變量,單一變量的差距越明顯,結果越具有說服力;反之,多種變量導致的對比越模糊,結果就會越模糊,因為沒有辦法追溯到底是什么影響到了結果。

在本次分期還款改版中,我認為最需要對比的變量為:“分期期數和金額的對比”,它對用戶的轉化有直接影響。因此在設計方案的改進中,也著重優化了這塊內容。

(5)觀察什么測試結果(測量結果對比)

在本方案中觀察的結果對比是分期試算頁面提交按鈕的點擊量,以及最后整個分期轉化率的對比。

科學區分設計對錯——數據思維教你5步驗證

圖7 方案改造前后對比

科學區分設計對錯——數據思維教你5步驗證

圖8 試算、完成、賬單記錄全面優化

四、上線測試

在此次方案上線的過程中,我們將新舊版本作為A/B test同時在線上進行灰度測試,用以對比單一變量“分期期數和手續費”不同展示情況下,對用戶分期筆數的影響。

除了制定灰度策略,還需要控制A/B方案用戶包,限定測試時間,以保證在單位時間內,A/B方案的用戶質量、用戶瀏覽量基本一致,這樣的數據才具有對比性。還要避免在后期拉取數據的時候出錯,或者數據差距太大失去可比性。

本次前端小伙伴先上線了針對兩家銀行的白名單,然后制定了10%的灰度策略,全程監測無問題后逐步放量灰度直至各50%,灰度一周后進行了數據收集對比。

科學區分設計對錯——數據思維教你5步驗證

圖9 上線的A/B test方案

五、結果分析

分期改版的結果如何呢?可以認為這是一個“成功”的改版,因為預期的結果(用戶點擊和轉化提升)得到了驗證。同時因為是商業化項目,轉化率的提升意味著實實在在的業務收入增加。

科學區分設計對錯——數據思維教你5步驗證

圖10 界面數據提升和總的數據提升

關鍵結論:

  • 入口從更多還款方式中提出來后,用戶入口點擊提升3.61倍;
  • 用戶試算分期方案頁面點擊轉化提升24.20%(同比);
  • 用戶的分期筆數比上個月同期提升了5.92%(同比,基數達到一萬筆以上)。

同時進行了A/B方案的熱力點擊圖對比:

科學區分設計對錯——數據思維教你5步驗證

圖11 A/B 方案熱力圖對比

在熱力圖中可以看出:

  • A方案(舊版)用戶點擊頁面較為凌亂,而且在很多不是操作區的地方也有點擊;
  • B方案(新版)用戶點擊更為集中,基本上在分期期數和金額對比上。而且選擇方案跟系統的“推薦”方案很接近。一開始的猜想得到驗證。

六、總結和后續

數據驗證設計,并不是說每個設計師都需要精通統計學,深入研究數學問題,而是嘗試一開始用數據的思考方式來進行一個方案的目標設定、問題點分解、方案設計、上線驗證。

可以稱之為“以終為始”服務業務的一種方法??梢愿玫膸椭O計師與業務方溝通,證明設計的價值。

后續我也會更多的從已有數據的采集分析來進行設計推導,進行 更“科學”的設計??偨Y以下幾點經驗可以給后續復用:

(1)A/B test 適用于測試單一元素變量

如文案、操作、圖片的場景,較長流程需要進行拆分測試,以準確定位到影響元素,找到最佳組合。

(2)少量數據依然有效

即使短時間內只產生少量轉化,仍然能很快確定用戶最喜歡哪個版本,同時要把控測試耗費時間、人力,不能濫用。

(3)成功元素具有可復用性

如使用A/B test找到為服務帶來好的轉化的表單或頁面設計后,應該在后續復用,或進行升級。

(4)大大降低改版風險

在重大決策或意見分歧時,避免風險實現資源利用率的最大化。

最后

數據不是萬能的,但是數據可以幫助我們。

我們發現一件事,增加你測量的東西的數量或者提升你測量的保真度,并不能帶來確定性。因為它實際上并沒有產生新的東西,來說明這個比那個好。它只是揭示了更深層次的復雜性,涉及到了更多的內容。然后它就變成了一種平衡。我們仍然需要有直覺,我們仍然需要判斷什么是重要的,什么是不重要的。

——JonWiley,谷歌沉浸式設計總監

參考文獻:

Becoming a data-aware designer——https://uxdesign.cc/becoming-a-data-aware-designer-1d7614ebc3ed

互金公司如何用數據驗證產品設計?——http://www.aharts.cn/data-analysis/602540.html

 

作者: saraqiao,公眾號:騰訊FiTdesign(ID:FiTdesign2017)

本文來源于人人都是產品經理合作媒體@ 騰訊FITdesign,作者@ saraqiao

題圖來自Unsplash,基于CC0協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 學習了

    來自四川 回復