如何通過數據分析來衡量產品改版的效果?

6 評論 27899 瀏覽 238 收藏 12 分鐘

我們總以為產品改版會帶來更佳的用戶體驗,提升用戶留存、用戶活躍,似乎每項指標都會如想象中一樣蹭蹭上漲,但這只是自我認為的好結果,真正的改版效果還是需要我們落到實處的去衡量評估的。

在產品正式發布之前,產品經理的大部分工作都是圍繞著需求的升級迭代來進行的,比如說定義要迭代的需求點,撰寫產品新版本PRD,然后開產品評審會,接著跟蹤設計、研發,最終測試沒問題之后發布給產品所有用戶。

前面我們也提到過,產品迭代的需求來源有這么幾個大類:市場調研、競品分析、用戶反饋、數據分析和團隊成員頭腦風暴。其中的數據分析就是指產品上線之后,用戶通過使用產品產生了相關的用戶行為數據,產品和運營經常會去觀察這些數據,用來指導產品的迭代和改版方向。

理想的情況,自然是產品在迭代中不斷演化,用戶不斷增長,收益也蹭蹭蹭地往上增長,直至產品走向成功的道路。但大部分產品其實并沒有這么幸運,基本都是以失敗告終,當然這個失敗有很多因素(市場環境、商業模式、用戶習慣、運營推廣、資源、團隊能力等等),排除掉這些因素,還有非常大的一個點,是很多互聯網公司在產品迭代部分,缺少“衡量”這么一個環節。也就是大家都以為隨著產品的迭代、功能的堆砌,產品會逐漸走上成功之路,實際上只是在原地打轉,有些甚至是在倒退。

作為一名合格的產品經理,總歸還是要學會在產品迭代的環節中,適時地對改版效果進行衡量并確認進展,這樣才能更好地了解迭代對產品本身起到的作用。

那么,在一次產品改版之后,產品經理如何能夠知道這次改版是否達到預期的效果呢?

具體可以從以下幾個方面來進行分析:

  • – 改版后,新功能是否受歡迎
  • – 改版后,對產品的流程轉化率是否有提升
  • – 改版后,對產品的整體留存的影響
  • – 改版后,用戶究竟是如何使用新功能的

問題1:新功能是否受歡迎

要衡量一個新功能是否受歡迎,基本就看這個功能上線之后,用的人數多不多,用的人越多,表示這個新功能還是挺受歡迎的(當然,這里還有一些運營推廣的因素)。

一個比較好的衡量指標是功能活躍比,什么叫功能活躍比,也就是使用了新功能的用戶數/同期活躍用戶數,比如說新功能的用戶數是1000人,而同時期產品的整體活躍用戶數是10000人,那么這個功能的活躍比就是10%。

舉個例子:

助理來也里面的訂閱功能,定位是基于微信CUI的交互方式,為助理來也的用戶提供大眾化的高質量訂閱內容精選。

前期迭代的目標就是為了增加整個訂閱功能的訂閱人數,但是當通過一系列的產品和運營手段,將訂閱人數提升上去之后,接下來要考慮的就是需不需要繼續深化訂閱功能服務(畢竟有很多人光訂閱不看的,這個時候就成了不活躍用戶),這個時候功能的活躍比就很能夠體現問題了,如果訂閱服務的活躍人數占產品總體活躍人數比重較高的話,說明訂閱服務還是滿足用戶對于助理來也產品定位的一個需求的。

當然,一個功能會被多少人使用還會受到功能本身之外的很多因素影響,比如說該功能是否是某一個產品流程的必經之路,無論用戶是否喜歡或者需要,在產品的數據體現上,都會是一個不錯的表現。但產品經理萬萬不可光憑這一個數據,就給整個功能打下好壞的標簽,還是需要其他數據維度才能更好地進行評判。

問題2:對產品流程轉化率是否有提升

很多時候,產品經理接手一個新項目之后都喜歡對原來的產品設計界面進行改版,不管之前的界面是美是丑,總之我來了,就要產出一套新的界面。當然,也不是說對產品界面改版就完全是不靠譜的事情,如果改版之后,對產品流程的轉化率(或者其他數據指標)的確有提升,那還是相當有用的。

所以,這個時候,我們就需要通過去觀察整個產品的流程轉化率是否因為產品迭代改版而有所提升。最基本的方法,就是通過創建流程漏斗來進行數據觀察,現在很多第三方的數據分析工具,都已經支持用戶自己手動創建轉化漏斗了,我們只需要梳理清楚一個產品流程轉化漏斗都包含哪些環節。比如電商網站,最基本的轉化漏斗的路徑便是:

網站首頁–>商品搜索–>商品詳情–>加入購物車–>立即支付–>確認收貨

這樣,我們就可以將上述事件組裝成一個轉化漏斗,如果你優化了商品詳情頁或者是搜索頁面,那么就可以很好地通過漏斗來看出,改版之前和改版之后,這個流程的轉化數據發生了什么變化,每個小環節的漏斗轉化率又發生了什么變化,這樣就能比較準確地評估出產品迭代對流程轉化率是否具備提升作用。

問題3:對產品整體留存的影響

一個好的功能是能夠產生用戶粘性的,這是因為用戶對產品更加喜愛的話,會讓用戶更加頻繁地使用產品(也有一部分的確是剛需的因素)。所以,我們在迭代之后,也可以好好觀察一下產品的整體留存是否產生了變化,比如次日留存、周留存、月留存等等指標,是否朝著更好的方向發展。

我之前從事在線教育領域的時候,做過一個網校的項目,網站剛上線的時候用戶的次周留存非常之低,大概3%都不到,大量用錢買過來的流量都白白流失了。那個時候大家經常碰在一起進行頭腦風暴,分析為什么用戶來了就基本不再回來了,各種原因進行拆解。

后來運營提出是否可以通過建設社區、資訊板塊來增加網校的整體留存率。剛提出這個想法的時候,大家都半信半疑,一方面覺得如果社區、資訊真的能做起來,那肯定是能提高網站留存的,另一方面又覺得現在做社區太難了(天涯、貓撲不都倒下了么),就我們這么一點人力,要做社區和每日的資訊運營,談何容易。但是也沒有想出其他好的辦法,最后團隊還是投入了大量的人力和資源來做這件事情,但是沒想到效果居然不錯,網站的整體次周留存大幅提升,從原來的3%不到提高到15%,通過運營整個社區和資訊板塊,來為網校課程導流也產生了不錯的收益。

問題4:用戶究竟如何使用新功能

雖然上面的三點都能為產品經理提供數據方面的洞察,但是最后一個問題同樣非常重要,那就是用戶究竟是如何使用產品新功能的,是否符合你預期設想的那樣,還是說用戶自己創造出了新的玩法。

要衡量一次產品迭代到底效果如何,數據表現固然是很重要的一方面,但另一方面,產品經理也該深入到用戶之中,去詢問和了解用戶對于新功能的反饋和體驗如何,或者近距離地觀察一下用戶是如何使用產品的。更重要的是,當出現迭代之后數據表現不佳的情況下,只有這樣近距離地觀察用戶操作使用產品,你才能發現問題所在,也許是因為用戶的微信版本比較低,導致一些功能不支持,也許是因為用戶的網絡不太好,導致加載信息不完整,諸如此類的異常情況,還是需要產品自己和用戶產生連接,才能更好地洞察這些情況。

當然,想要綜合地衡量一次產品迭代到底是否符合期望,還得看整個團隊在迭代之前設定的預期收益是如何的,比如說在產品評審會的時候,你說要增加某某功能,原因是你覺得做了這個功能之后產品的日活會提升30%。那么迭代之后,日活是否真的增加了30%,或者雖然沒有增加30%,但是通過上面幾點數據的分析和觀察,給整個產品帶來了其他方面的收益,如留存上升、轉化率提升等。從這個角度分析,也可以說是一次成功的迭代。

#專欄作家#

壹百度,微信公眾號:倒退集,人人都是產品經理專欄作家。在線教育企業服務領域產品經理,創業公司Team Leader。曾主導多款重量級產品的產品策劃和設計工作。

本文原創發布于人人都是產品經理。未經許可,禁止轉載。

更多精彩內容,請關注人人都是產品經理微信公眾號或下載App
評論
評論請登錄
  1. 抄襲知乎罷了

    來自安徽 回復
  2. 這里怎么不能點關注樓主了

    來自上海 回復
  3. 不錯,受教了

    回復
  4. 受益匪淺

    回復
  5. 學習了

    來自上海 回復
  6. ??

    來自上海 回復