數據產品三部曲:數據產品的前世(1)
筆者從企業信息化的發展歷程開始盤點,從決策支持系統講到商業智能,再講到數據產品是如何誕生的。
這篇文章第一次外發是在2017年左右,當時這個系列確實寫完了,因為受到某些影響這個系列只發了一篇文章后續的都沒有對分享過。這次計劃這段把這個文章重新整理完并分享出來。
作者開始搞數據產品是從09年開始搞數據產品,這些年七七八八的搞了一堆含內部工具類型、偏用戶性質數據產品、還有平臺級數據產品。?這次分享這個文章是按照面向內部視角的數據產品維度去寫的。
一、數據價值的傳承
自1954年計算機用于工資處理以后,一直到2016年的今天,企業在信息化處理上得到了長足的發展。
在這個發展中經歷過了數據處理系統、Mis管理系統、決策支持、商業智能。企業的信息化程度隨著時代的變遷已經發生了猶如阿波羅登月般的翻天覆地變化。
1. 決策支持系統
Dss決策支持系統是建立在對傳統企業歷史數據集成基礎上的數據探索應用,(備注決策支持系統發展此處不再敘述,感興趣的讀者可以自行查詢)自從數據倉庫的出現給對企業的決策支持注入了新的活力,發展到現在的互聯網、移動互聯網對數據的應用又是一個嶄新階段。
不管是在哪個時代的企業高層都要做一項決策,其困難度也是不同的——
在20世紀60年到70年,決策中往往是需要查詢多種異構數據源的業務系統、參考外部的數據,進行大量的數據分析后才能做出相關的決策來。
而進入到20世紀80年代后,隨著計算機技術發展、各類數據統計分析的工具逐步健全,尤其是數據倉庫的技術發展給傳統企業的決策支持系統帶來了更大的便利性。
2. 商業智能
傳統企業更多地是圍繞著日常經營去做經營分析,比如財務績效狀況、資產運營狀況、償債能力狀況、發展能力狀況等。
像前系列文章“我所經歷的大數據平臺史”提到數據平臺的發展史與用戶的演進,在傳統企業前幾代數據平臺上支撐的是商業智能,輔助業務經營決策,為公司高層提供決策。其主要是支持企業的分析人員、管理人員、從多個維度進行信息的快速分析。
商業智能(Business Intelligence,簡稱BI)的概念最早是Gartner Group 的 Howard Dresner在1996 年提出來,傳到國內有將之翻譯為”商業智能”或”商務智能”。
商業智能的應用領域典型電信、銀行、保險、零售等,所有建立了數據倉庫的企業其商業智能建設的主要目標是企業決策支持。
商業智能通過對信息技術的運用在不同層面為戰略、決策提供新的支持:提升決策者洞察力以及支持信息獲取與分析。
在傳統企業的商業智能時代,我個人對其的認識是商業智能本來是把數據分析和統計運算的結果以多角度的方式存儲,然后在OLAP、Report平臺上形成一個個面向不同業務需要的數據集市以可視化的展現,讓公司的管理層可以通過看及時和合適方式展示出來的信息來決策,讓基層可以用統計運算后的數據進行經營分析與企業日常運作。
這種方式的核心是Bill Inmon 、Ralph Kimball的數據倉庫Data Warehouse與Codd創造OLAP一詞,E.F.Codd發明了在線分析處理(OLAP)一詞,來表示多維分所結合的模式,為客戶提供OLAP 平臺,通過開發一些Report、Dashboard,后臺通過ETL 自動刷新數據。
其中ETL工具在當時使用的是Datastage、Informatica、微軟Dts或自己開發的腳本等系列來做數據的清洗、轉換、加載;而OLAP 平臺基本上為BO、Congos、Oracle 等幾家的OLAP引擎與報表設計平臺。
在數據倉庫 Data warehouse 中大家可以看到DW層為存儲、管理數據設計的模型、數據集市中為 OLAP 而設計的模型。
其中數據集市的數據就是數據倉庫各層的數據Join與Aggregate的數據集合。
傳統的數據團隊的困惑在盲目地跟著需求開發,導致開發成果無法確認是否有用、夠用,也無法避免無休止的需求變更,導致系統開發成本高、周期長、失敗率居高不下。
這樣的數據平臺最大的特點是龐大,初次使用感覺功能非常新鮮,但是在面對具體需求時使用起來難用,無法真正的解決問題。根本沒有系統化、產品化,只是一堆數據的堆砌,僵死的報表或cube 開發、設計與開發與業務脫節非常嚴重,沒有任何銜接可言。
隨著時間的發展,業界聽到的BI的聲音越來越少了,反而是對探索數據的價值的數據分析、數據挖掘獨立的聲音出現——因為早期傳統企業的BI在這件上非常吃力,在過去只是簡單從不同角度的堆積數據看統計指標已經不適應決策要看原因,要看影響的程度,執行層面要根據數據分析、挖掘精確來執行。
比如過去我們只是看商場的不同品牌的貨物賣出多少,在現在要看商品在一天的那個時間段賣得好、擺放哪個位置賣的好、什么樣的顧客容易買,客戶總消費多少錢,客戶訂單次數,客戶平均客單價、客戶最近訂單時間等等。
當初到BI剛進入企業眼前的時候,認為BI可以做很多厲害的事情,各種智能化。
隨著時間推移,BI從天上掉到了地下,90%多的企業只剩下數據集成和報表生成部門。目前一般企業普遍采用的辦法是由業務部門提出分析需求,讓BI部門統計和分析數據出結果,這樣的組合看似合理,卻有很多隱患。
記得有家公司組建自己的BI團隊前,曾經去尋找多家第三方企業來實BI,建立了數據模型和數據處理,交付物開發出各個業務線的需求報表,按照會員維度的日報、周報、月報,商戶維度的日報、周報、月報。
然后呢,業務上嘗鮮幾天時還挺爽,隨后越來越少用直至不用——
因為隨著堆積迭代無法滿足后來的業務需求,其主要數據質量有問題,每個報表數據經常不準、報表上根本看不出什么業務問題來,需要多張報表數據下載進一步加工,這是典型的不深入了解業務而導致數據模型、數據報表堆砌效應引起的。
當時大多數BI只能發揮不到1/3的作用,所受限制在于業務與數據的反復磨合,還有數據洞察與整合的客觀的業務需要代溝,所謂的數據驅動只是停留在數據與業務分開干的階段。
二、傳承者的辛勤
1. 數據化的精細運營
隨著互聯網企業的出現與發展,大家已經從經營、分析的訴求重點轉為數據化的精細運營上。
隨之而來的面臨創新壓力、如何做好精細化運營是當今企業遇到的問題。
比如一款產品,想在互聯網生存下去, 用戶是基礎,沒有用戶的產品或許可以自娛自樂,否則將會面臨一個問題——如何拉新、如何研究新用戶,如何根據不同的用戶習慣來調整產品。
對于產品的新用戶,使用時會遇到各種問題,產品運營就必須去關注、去分析、以及去解決,這些過程都是需要數據來衡量與定位的。
如果整個公司都處在一種由之前簡單粗暴運營向經營分析乃至數據驅動的運營,必然會造成數據需求暴增,我前雇主許多運營同事能養成上班先看幾十分鐘的數據來確認自己運營的各種細節。
數據化運營對數據需求量越來越大,分析師、數據開發在面對大量的數據需求、海量的臨時需求疲憊不堪,變成了資源的瓶頸,無法快速響應日常需求,其表現為——做數據的已經無法滿足當前業務日益增長的數據需求。
互聯網企業在運營上的精細化對數據的粒度要求,由高匯總逐漸轉為過程化細粒度明細數據。而傳統的各類的Report、OLAP 工具都無法滿足互聯網行業個性化的數據需求。
分析師、數據開發對于企業是非常寶貴的資源,每天浪費在各種數據提取、沒有經過判斷的合理需求、一些無法證明蛋生雞還是雞生蛋數據證明上,自己造成的異常數據波動,或者是因為數據平臺建設的功能不給力,導致數據分析師費時費力。
統計過某公司近兩個月分析師們的工作內容,背景是從3月份-5月份大家在郵件、需求登記管理平臺等內容。大約覆蓋分析師3個月工作85%左右,臨時需求在69.44%之間,產品發布評估占到 8.89%、周期性需求為(新業務日報周報)6.11%、專題分析8%、數據類項占比為6.67%
分析師70%左右時間全部在臨時需求上,。臨時需求+周期需求占到總時間的 70%-73%左右,臨時需求+固定需求需要0.5天-2天內完成占比了 77%左右,1天內完成零散需求占比 71.66%。
這個團隊的分析師平均每月工作天數如果全飽和,單純臨時需求總共消耗分析師超過140%時間,均超過35%人月,分析師沒有一點時間搞其他的,變成了純粹人肉取數機,更何況分析師還有其它日常工作、專題分析等,更不要說讓分析師更有價值。
2. 數據產品的誕生
當數據平臺、數據分析師想擺脫臨時需求的困擾,提高自身的價值時,開始考慮把需求固定化變為一個面向用戶自助式、半自助的產品來滿足快速獲取數據&分析的結果,當總結出的指標、分析方法(模型)、使用流程與工具有機的結合在一起時候,適合互聯網時代的一類數據產品就誕生了。
數據產品從早期的形式存在,一直到這幾年的爆發與被大家得到逐漸的的認可,但是數據產品不管是在國外與國內沒有一個非常完善的說明。不管是百度上、還是谷歌對數據產品、數據產品經理的內容也是不多。
那到底什么是數據產品呢?
我覺得要想把數據產品定義清楚,要拆分成“數據”、“產品”兩個維度來看:
(1)產品是什么?
“產品”這個詞我相信大家都非常熟悉,我偷個懶直接借用“人人都是產品經理”中一段:
“產品是一組將輸入轉化為輸出的相互關聯或相互作用的活動的結果,即“過程” 的結果“。
在經濟領域中,通常也可理解為組織制造的任何制品或制品的組合。
產品的狹義概念:
被生產出的物品;產品的廣義概念:可以滿足人們需求的載體?!?/p>
互聯網產品的概念是從傳統意義上的“產品”延伸而來的,是在互聯網領域中產出而用于經營的商品,它是滿足互聯網用戶需求和欲望的無形載體。
簡單來說,互聯網產品就是指網站為滿足用戶需求而創建的用于運營的功能及服務,它是網站功能與服務的集成。
大家可以分析下百度、騰訊、新浪、優酷、谷歌、facebook 各自的“產品”是什么?
(2)移動互聯網產品又是什么呢?
我是沒有找到比較貼切的概念,只好依照自己簡單的想象“已移動設別、網絡為基礎,構建滿足人們的需求而創造出來的功能與服務”,例如基于手機、平板設備上的各種App,微信、手機百度、ingress手游、網易客戶端等。
綜上所述所謂的產品,簡單講就是滿足人們某個需求、或解決某個問題的東西。
- 那數據是什么呢?組合成的數據產品又是什么呢?
- 互聯網的數據產品又與傳統數據平臺又是什么關系呢?
- 我們該如何理解數據產品呢?
- 數據產品的三要素是什么?
- 不懂數據的人如何用好數據產品?
- 數據產品經理的天花板又在哪里?
- 如何做好數據產品?
大家可以嘗試思考這些問題。
作者:松子(李博源),自由撰稿人,數據產品 & BI 資深總監。2000 年開始數據領域,互聯網數據考古工作者一枚,經歷了互聯網古生代、中生代、今生代。作者公眾號:songzi2016。
本文由 @松子 原創發布于人人都是產品經理,未經許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協議
對于大多數人來說數據產品還是比較神秘的,選擇適合的數據產品需要下功夫
贊????