起點課堂會員權益
職業體系課特權
線下行業大會特權
個人IP打造特權
30+門專項技能課
1300+專題課程
12場職場軟技能直播
12場求職輔導直播
12場專業技能直播
會員專屬社群
榮耀標識數據產品經理的入門手冊：如何評估數據產品的上線效果？
一個好的產品通過產品評估才能衡量其產品效果及業務價值，那么對于數據產品來說，我們怎么對齊評估呢？本文作者同大家分享一套適用于數據產品的評估體系，解答如何評估數據餐品的產品效果。
對于數據產品經理來說，最頭疼的問題就是：當我的產品上線之后，我該如何評估我的產品效果？
對于策略產品來說，我可以很輕松的基于實驗組或者對照組，來獲取策略的上線效果。
對于C端&B端產品來說，我可以通過用戶（或商戶）的規模、增長、活躍、留存等方面來衡量產品對業務的價值。
BUT，如果你做的是數據產品，或者從更大的范圍來看，從事面向內部用戶的后臺產品，你該怎么來衡量產品的價值呢？
這個問題曾經困惑了我很久，在這些年的過程中，逐步摸索出一套適用于數據產品的評估體系，歡迎大家一起來討論。
一、評估上線效果的重要性
上線效果重不重要？這是一個毋庸置疑的問題。
對于一個團隊來說，上線效果評估是檢驗產品價值的重要方法。而這個問題，卻是數據產品們經常逃避，或者說不愿意面對的問題。
我分析主要的原因是：評估不清楚。
我上線了一款實時監控產品，不是我不想評估，而是我評估不清楚，這里的“清楚”，一方面是指我無法用合理的量化的指標來衡量產品的效果，另一方面是指即使我評估了，我也找不到我這款產品與業務價值的關聯。
在評估不清楚的大背景下，我們可以看到一個有趣的現象：
一般數據產品的產品文檔或者上線效果評估中，經常會用如下句式來評估產品：
- 賦能…（上線后數據賦能某某業務）
- 助力…（上線后助力精準化運營的展開）
- 提升…（大幅提升分析效率）
你看，是不是非常熟悉類似這樣的句式？
如果我用上面類似的句式，這種宏觀的車轱轆話來評估數據產品的上線效果，會有什么樣的影響呢？
經過這些年的風吹雨打，我理解會有如下兩個影響：
1.上線即結束
你的產品上線即為結束，你會立刻投入下個產品的進程之中，產品很難有一個系統化的迭代節奏，因為你沒有清楚的可評估的迭代價值。
2.答辯很吃虧
是的，產品經理，無論公司大小，都會面臨成長晉升的問題。
而對于一個數據產品，如果你在產品線晉升，面對策略產品各種亮眼的數據效果，面對C&B端產品各種的業務價值貢獻，你會舉步維艱；
如果你在BI線晉升，面對一個個幫助業務決策的分析實例，你毫無勝算。
所以說，數據產品的上線效果評估是一件非常重要的事情，不夸張的說，事關產品生死，個人前途。
二、一般的效果評估方法
既然數據產品的效果評估這么重要，那作為一名數據PM，我該怎么來評估我的產品呢？一般通用的思路會有如下的兩種方式：
1. 從訪問量的角度
看數據產品上線后的PV&UV等，和使用行為相關的數據。
乍一看，這毫無問題；但是我們可以仔細想一想如下兩個問題：
1）我上線兩款數據產品，一款是給10w運營看每天可以產生10w的UV，另一款只給老板看每天僅產生5個UV，請問這兩款產品誰的上線效果好？誰的價值大？
2）實時監控產品的要求是每小時看一次，天級監控產品的要求是每天看一次，誰的價值更大？
你看，數據產品，由于目標用戶的局限性與產品本身的定位差異，會導致訪問量存在天然差異，這個差異會讓數據產品沒有一個通用的訪問參考系來衡量。
2. 從提效的角度
假設數據產品上線后，產品分析數據的效率是excel分析效率的2倍，但是內部用戶不用這個數據產品，這個時候上線效果是好還是差？
數據產品及其依賴于用戶的使用，提效是建立在用戶使用的基礎上，很難從提效這一個單一維度來衡量數據產品的效果。
那么，我該如何評估數據產品的上線效果呢？
三、一套數據產品的效果評估體系
首先，我理解數據產品的上線效果，不是對上線結果的靜態評估，而是對上線后整個產品運營過程的動態評估。
什么叫上線結果的靜態評估？
類似訪問量等，即為上線后的一個自然結果。
什么叫上線后整個產品運營過程的動態評估？
是指上線后，產品經理圍繞產品上線進行一系列運營過程，并對其過程進行評估。
我們可以把數據產品的上線運營過程拆解成如下模式：
1. 知不知道？
知不知道本質是解決產品的觸達問題。
一個完整的產品觸達流程分為如下節點：目標用戶規模->觸達用戶規模->真實的打開產品的用戶規模。
- 目標用戶規模：代表產品服務的用戶范圍
- 觸達用戶規模：指產品通過社交群組、郵件周知到的用戶范圍
- 真實的打開產品的用戶規模：指用戶開通權限打開產品的使用規模
這三個節點可以構成兩個核心衡量指標：
產品觸達率=觸達用戶數/目標用戶數
產品打開率=打開用戶數/觸達用戶數
基于如上，你就可以在“知不知道”這個層面衡量出產品的上線效果，具體如下：
2. 會不會用？
會不會用本質是解決產品的培訓問題。
培訓不是單純的指召開一場培訓會議，而是一系列的運營方法，大致會有如下幾種方法：
1.案例營銷（極其推薦）
經過驗證，這是最有效的一種運營方法，你可以多了解業務方或者分析師們正在解決的問題，然后嘗試用你的產品形成一個case，用分享的方式告訴他，這是最有效的一種培訓方式
2.線上使用手冊（推薦）
可以是文字形式，有條件也可以是視頻形式，注意要進行數據產品的埋點，來統計用戶查看使用手冊的頻次
3.培訓會議（不推薦，因人而異）
召開一場培訓會議，進行產品宣講，一般情況下，這種方式的培訓效果并不理想。當然，這里的效果取決于你培訓時個人的演講能力。
有了運營方法還不夠，我們要在使用后及時監測這些方法的使用效果，一般可以通過主觀評價和客觀數據來衡量。
可以參考如下方式來評估“會不會用”：
3. 好不好用？
好不好用是指用戶是否有持續使用的動力？我們可以拆解為如下三個部分來看：
1.動機層面
指用戶使用這個產品的動機是什么？這是好不好用的本質原因。如果數據產品沒有解決用戶使用的動機，大概率用戶是不會長期來使用的，動機可以分為如下兩點：
1）用戶訴求的解決程度
也就是你的產品是否達成預期產品的目標，以下為舉例：
2）分析效率
你的產品是否提升了用戶的分析效率，以下為舉例：
2.使用行為層面
觀測用戶使用產品的活躍度和使用頻次，注意，這里更關注的是產品本身的趨勢變化，而不是和其他產品的橫向對比，以下為舉例：
3.主觀評價層面
可以通過截圖，收集一些用戶反饋，來證實產品的價值。
有條件，可以做一些線上的調查問卷，在產品上線兩周后發至用戶；然后基于問卷反饋來簡單的計算產品的NPS。
綜上，我們通過【知不知道-會不會用-好不好用】這個完整的產品上線過程，就可以衡量出一個數據產品的上線效果，總結如下：
最后，想提很重要的一點：數據產品的效果評估在當下行業內沒有一個共識的基準，比上線效果評估本身更重要的是縱向和leader、橫向和技術團隊共識上線效果的評估方法。
只有各方在一個共識語言內，你的上線效果評估才有機會得到認可并廣泛使用。
作者：羅大大，大數據產品專家
本文由 @羅大大 原創發布于人人都是產品經理，未經許可，禁止轉載。
題圖來自 Unsplash，基于CC0協議
大佬，好不好用-動機層面-用戶訴求的解決程度里面，“指標覆蓋度”怎么理解？是怎么計算出來的？
同樣是做企業內部人員使用的系統，感謝作者，給我提供了一個評估思路
歡迎多多交流
大家期待已久的《數據產品經理實戰訓練營》終于在起點學院（人人都是產品經理旗下教育機構）上線啦！
本課程非常適合新手數據產品經理，或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。
課程會從基礎概念，到核心技能，再通過典型數據分析平臺的實戰，幫助大家構建完整的知識體系，掌握數據產品經理的基本功。
學完后你會掌握怎么建指標體系、指標字典，如何設計數據埋點、保證數據質量，規劃大數據分析平臺等實際工作技能～
現在就添加空空老師（微信id：anne012520），咨詢課程詳情并領取福利優惠吧！