談談灰度測試

4 評論 25855 瀏覽 111 收藏 9 分鐘

編輯導語:利用灰度測試,產品經理及研發團隊可以在產品或應用正式發布、推廣前選擇一定人群使用,進而找到可能問題,以避免打擊用戶體驗。那么,如何進行灰度測試?本篇文章里,作者介紹了進行灰度測試的方法,以及灰度測試與A/B測試的區別,一起來看一下。

微信版本在修改微信號頁面輸入框下方的提示文案是“微信好賬號的唯一憑證,只能設置一次”,在我朋友和我說微信號可以修改時,我進行了查看,發現不同的手機顯示的不一樣,我是“只能設置一次”,而我朋友的手機的微信賬號則顯示的是“微信號是唯一憑證,一年只能修改一次”。

這是因為什么原因導致出現這樣的差異呢?本文章通過對灰度測試的講解,解釋這一原因。

一、概述

灰度測試,就是在某項產品或應用正式發布前,選擇特定人群試用,逐步擴大其試用者數量,以便及時發現和糾正其中的問題。

二、為什么要進行灰度測試?

看到灰度測試,首先我問了自己什么是灰度測試,通過百度后我了解了灰度測試的概念,其次,我再問自己為什么產品要進行灰度測試?

我先從一個產品的開發流程大致走一波,來解答自己的為什么,我的目的是什么?

產品落地之前會進行產品測試,這時候就會有一個疑問點都已經有產品測試了為什么還要進行灰度測試。

其實,測試是為了修復BUG,測試并不是在開發完成后才開始的,在第一次接觸到這個項目的時候,負責測試的同事需要思考這個項目的測試檢測測試方式,并反復與研發人員產品經理溝通。

當溝通完成后,QA就會把測試的點、流程以及測試的方法寫成“測試用例”,再找產品經理和研發人員確人,以保證不會因為對需求的理解問題和疏漏漏掉本來該發現的BUG。測試發現BUG,讓研發人員進行修復。

修復后產品經理需要對產品效果進行確定,確定產品沒有BUG且符合預期后就可以上線了。

可是呢QA也不是萬能的,不可能測試到所有的所有情況,這就是我們為什么還要進行灰度測試的原因。除了書上說的某些BUG只在用戶量非常小的手機上面出現,還比如,夏天手機容易發熱、手機太卡等等,都會導致BUG的出現。

總而言之,我的目的就是,灰度測試做二手準備,幫助又累又慘的產品經理以及研發團隊快速試驗并發現問題并在正式全面推廣之前及時把問題修正,避免用戶體驗差、讓用戶對產品產生厭惡,那研發團隊的努力就付之東流了,所以灰度測試非常重要。

三、怎么進行灰度測試?

知道了為什么要灰度測試,就要問自己怎么進行灰度測試。雖然我們產品經理不需要親自去灰度測試,但是都想到為什么了,肯定會想到那這個怎么去做??!翻閱書籍和百度就是最快知道怎么去做灰度測試的最好方法。

首先選擇用戶,做灰度測試需要選擇適合的用戶,需要基于隨機原則。

  1. 第一類,經典用戶,這一類用戶最大的特點就是沒有特點。比如,小米“發燒友”就是小米的經典用戶,能代表最多使用小米手機的特征群體。
  2. 第二類,極端用戶,選擇這一類用戶的原因是因為我們需要檢測一些極端的情況。比如,一雙鞋用來慢跑的運動鞋,但是有人穿它去爬山,把產品某些功能用到極致的人,就是極端用戶。

其次選擇合適的對比方法。數據的對比有兩種方法,時間先后的對比不同用戶群體的對比。

四、灰度測試和A/B測試的區別

A/B測試定義:AB測試是為Web或APP頁面或流程制作兩個(A/B)或多個(A/B/n)版本,在同一時間維度,分別讓組成成分相同(相似)的訪客群組(目標人群)隨機地訪問這些版本,收集各群組的用戶體驗數據和業務數據,最后分析、評估出最好版本,正式采用。

灰度測試指的是系統測試通過后,將測試版本發布到線上環境,替換部分的線上服務器代碼進行預測試。當灰度測試結束后,線上版本實現會統一。

本質上是上線前的測試,收集用戶的反饋。

例:知乎升級了視頻資源的播放格式,但不知道新版本是否有問題。那么知乎可以通過配置下發,控制一部分的知乎APP去播放新格式的視頻。然后通過監控來觀測播放成功率和卡頓率等,一旦有問題會立即回滾。

A/B測試指的是系統測試通過并發布后,同一個軟件功能不同的用戶會看到不同的實現方式,收集每個用戶的反饋。

本質上是上線后的測試,收集用戶的反饋。

例:知乎春節換皮膚,可以把兩種待選皮膚都投入市場,看哪種皮膚的按鈕用戶點擊量大,用戶停留時長高。

總結:AB的兩種功能都是可用的,投放的用戶群體無差別,讓用戶選擇更受歡迎的功能。目標不明確,后期可能是A上線,也可能是B上線。

灰度版本未必是可用的,或者說沒有嚴重bug的,投放的客戶群體可能被選擇和約束(例如只投放安卓低端機),由監控確定是否有問題,目標明確,只要灰度版本沒問題,就會繼續放量上線,直到全量。

五、總結

不知道大家心中會不會有著這樣的疑惑,微信號不就是微信的一個小得不能再小的東西了,為什么要大費周章地進行灰度測試。換個思維去想,微信用戶過億,但是這幾億的用戶微信號不能重復,如果不經過灰度測試吧,直接上線,后果就是會有人的微信號重復、修改申請不過等問題。

在將產品大規模退給用戶時,灰度測試是必須的,如果要使用灰度發布,與往常的項目過程不同的是,需要做好提升點的準備,通過數據分析、日志分析找到改進點,快速地定位到問題,并解決。

 

本文由 @小向日葵 原創發布于人人都是產品經理。未經許可,禁止轉載。

題圖來自Unsplash,基于CCO協議

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 寫的很棒,學到了。不過作者大大也要注意一下錯別字哦

    回復
  2. 思維嚴謹 邏輯清晰 框架明確

    來自湖北 回復
  3. 太厲害了吧,這就是仙女的實力嗎

    來自湖北 回復
  4. 哇寫的太可了吧

    來自湖北 回復