全民CE,讓產品質量更上一層
編輯導語:全民CE是一種全民走查工具,它的本質是讓更多人參與到產品操作體驗中,提出使用感受,以幫助產品提高質量。那么要怎么做全民CE呢?全民CE的效果又如何?一起來看一下吧。
01 什么是全民CE
全民CE是我們在終端產品提倡應用的一種全民走查工具,CE就是 customer engagement,即用戶參與。
筆者最早是在騰訊的一篇采訪文章中看到,在我們內部也稱之為“眾測”,其本質是希望更多的人參與到產品操作體驗中,提出并記錄使用過程中的不良感受和遇到的問題;產品設計方通過對此收集-分析-評估并執行優化,從而讓產品的質量更上一層。
02 為什么要提倡全民CE
常規的產品設計流程中,UED設計師對交互界面的還原效果,本身就有走查環節,那為什么還要提倡這樣一種全民走查工具呢?
1. 跳出設計思維,多角度發現問題
設計還原走查更多的是對設計方案是否有效落地的走查,比如,設計方案的邊距是10px,落地效果卻是5px;設計方案功能操作用的是按鈕,落地效果卻是文字等等,這些都屬于落地效果與設計方案不符,還原度差的問題。
除此之外,設計師其實很難再發現其他諸如交互流程是否合理,目標按鈕是否能更塊地被找到,文案內容是否可以被用戶看懂,操作過程中是否還會遇到其他困惑,以及困惑是否能很快地被解決等更多操作體驗層面的問題。
因為理論上在設計期間這些都已經經過情境分析、方案決策、設計評審的過程,是整個項目組認可的方案。
經過了深度參與,設計師有時候已經熟悉到近乎麻木,認為這就是一個完美的方案。
2. 多人參與,覆蓋面更廣,更易識別高頻問題
UED走查有設計稿做參照,測試有測試案例做依據。
那么全民CE中,作為普通用戶的參與者,正常情況下是沒有固定路徑和標準的,完全以個人操作目標為導向自由發揮。因此,操作的路徑覆蓋面將更廣,這意味著一些不易現的問題或缺陷以及并發下存在的問題就有更大的被發現的可能性。
同時,多人體驗過程中,我們也更能識別高頻問題,在落地優化時作為優先級評估的一個依據。
3. 多部門協作,更易于推動落地
即使UED能夠發現還原度以外的問題,也未必能夠真正解決其中的一些問題。
問題的解決需要產品、開發、測試等各相關部門共同協作,甚至需要跨產品部協作,我們的產品各端的負責人不一定是同一個部門,同一波人;時間人力等資源安排也受到限制,只有在目標共識的基礎上才能更好地推動落地。
4. 作為與客戶溝通方案有力的說服工具
我們通過全民CE獲得的數據,能夠作為設計方案的源泉,在與客戶進行溝通時更能自信,做到有的放矢,也更能獲得客戶的認可。
綜上,我們需要更多設計師以外的角色,擺脫設計思維,站在用戶立場,以真實的用戶心態進行產品操作,從更多角度挖掘更多的問題,更好地推動產品質量的提升。
02 全民CE的兩種情況
我們目前進行過的全民CE有兩種情況,一種是在產品發版之前,在測試環境進行;另一種是直接在生產環境中進行。這兩種情況各有優劣,如下所示:
03 全民CE的全流程
全民CE的核心流程,就是發現問題-記錄問題-分析問題-執行解決問題的過程。
作為用戶參與的活動,我們首先需要做一些前期的準備,也就是哪些人參加?什么時候參加?用什么環境?給什么獎勵?評獎規則是什么等等,如果有特殊的需求的話也可以征集,比如手機型號、指定的功能清單等等。
1. 前期準備
1)環境準備,確定對接人
這里指測試環境,主要是盡量爭取所需數據的真實性、全面性,使用戶操作起來更具沉浸感。
測試環境中的數據不真實、不全面問題由來已久,我們在日常的UED還原度走查中就頻繁地遇到,后來,UED根據走查需要梳理了《UED走查配置標準文檔》,要求在走查前能夠按照文檔要求對測試環境的數據進行配置,以覆蓋更多的功能與界面。
舉個例子:產品中有一個排序功能,以往我們遇到過所有的數據在點擊排序后沒有變化,原因是要么數據只有唯一的一條,要么數據雖然有多條,但是數據中那個排序的指標數據都是一樣的。我們就在配置文檔中要求至少有2條以上數據,且排序的指標數據不等大。
其次,根據實際需要明確各部分對接人,比如遇到阻斷性問題找誰處理,又是誰充當理財師角色等。
2)用戶招募
雖然是全民CE,但是會根據業務特點盡量招募與真實用戶接近的用戶,我們一般通過釘釘群、內部郵件等方式發布海報,面向符合目標用戶的同事們招募,角色范圍包括項目經理、產品需求、測試、實施以及UED部門。
招募海報的內容包括:主題、口號、活動時間、號召文案、活動規則及獎勵、測試包下載及釘釘群二維碼,有興趣的用戶就可以通過掃碼進群。
3)用戶及設備登記
明確哪些用戶參與之后,就需要對用戶的機型進行登記,方便后面問題排查。IOS的系統,還需要添加UDID,才能正常執行,下表為設備登記表:
4)問題記錄模板準備
我們需要提供一個問題記錄的模板,供參與的用戶操作過程中隨時記錄。這個模板包括問題記錄列表以及截圖,分別作為問題的描述和“證據”,目前我們已經有了非常成熟的問題記錄模板:
當然,由于截圖界面有點大,需要另起一個excel按編號記錄,這些都將在釘釘群里向招募的用戶說明。
2. 集中體驗
萬事俱備,到了活動開始的日期,參與的用戶就可以從釘釘群下載最新的測試包開始體驗了。
體驗周期一般都會定在一周左右,大家可以根據自己的時間安排。走查過程中,發現問題或困惑隨時截圖并記錄問題清單,有任何疑問也可在釘釘群里提問,有專設的對接人解答。
對接人會在群里及時跟進和答疑,產品經理和開發每天會對問題進行跟蹤,并對嚴重的比如阻斷性問題進行及時修復,以便用戶能繼續參與。
3. 問題分析與評估
當然,所有的問題最后都需要進行評估,并不是完全聽由用戶反饋而走向極端:就是用戶說的都對,用戶提的問題都必須解決。
產品經理、開發、測試、UED以會議的方式對問題進行評估,明確問題所屬范疇(是屬于用戶體驗類的,還是屬于程序問題,是屬于配置問題還是需求問題)、所屬系統(是APP端的還是其他關聯系統)、問題類別(是優化類還是bug,不是問題還是重復記錄的問題等)、嚴重等級、處理日期、負責人,并以狀態作為持續更新,便于落地跟進。
如果評估結果為不是問題,無需修改,則需要在備注中說明原因。一來對提出者有個交代,二來作為備案,方便未來追溯。
04 全民CE效果如何
可能大家會問,這么“興師動眾”的,最終效果怎么樣呢?給大家分享下其中一組全民CE的結果數據:眾測周期為其一周, 一共招募到了21位參與人員共提交179個問題,評估后有效問題112個。問題迭代修復,在眾測結束的第二天,優化完成度達到95%。整體數據如下:
覆蓋了16款手機機型,而我們測試人員正常測試用的手機是達不到這個范圍的:
招募到的21位用戶覆蓋了7類角色,具體構成如下:
05 總結
全民CE雖然在產品質量提升上,具有非常顯著的成效,但真正要落地,還需要產品或項目領導的大力支持,也需要產品線各環節人員的共同協作。
只有在大家具備共同立場的前提下,才能做好全民CE, 以更有效有用的定量數據作為說服力。
本文由@janinejly 原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基于 CC0 協議。
邀請用戶來內測新軟件是不是有點接近全民CE的概念啊?
如果按照設計者設定的核心任務進行測試觀察并記錄,屬于可用性測試;如果用戶按照自己的需要點擊反饋問題,那么屬于全民CE。全民CE的用戶數量更多,要求也沒有那么嚴格
說白了這些都是為了產品質量的提升,做好過程,選對形式真的很重要的說。
行家呀
全民走查工具的普遍性更強,更具有說服性。但是過程也比較繁瑣而復雜。
難點主要還是上下游跨部門之間的協作,如果獲得上方支持,那一切都會順利得多