數據產品經理從零到一(1):數據產品能力模型構建
筆者正在由電商產品經理轉型數據產品經理,為了提升自己學習的效率,嘗試以這種輸出驅動輸入的模式,將自己學習的思路和學習內容分享給大家,也希望可以與其他數據產品經理多多交流。
本文嘗試憑借筆者的理解構建一套數據產品經理能力模型,作為自己未來學習的方向。
本文共分四個部分:
- 第一部分,從招聘市場需求入手,看市場上的招聘高級數據產品經理都需要掌握哪些硬實力;
- 第二部分,結合一些數據產品經理的分享,梳理數據產品經理的朋友圈,因為溝通者一定程度決定了需要掌握多少“共通語言”;
- 第三部分,構建數據產品經理能力模型;
- 第四部分,詳解一些數據產品常常接觸的概念和系統。
一、從招聘要求看能力要求
筆者在拉勾網和獵聘網上搜索數據產品經理和高級數據產品經理,將崗位職責匯總整理,招聘方對于數據產品經理的需求如下所示:
1、熟練使用MySQL,SQL、Hive等語言;
2、熟悉數據生產加工流程;
3、對主流大數據產品、BI產品;
4、對數據倉庫技術及理論有基本的了解,并對其發展趨勢有深入了解;
5、了解數據分析,數據建模和數據挖掘技術及理論;
6、能很好地掌握產品思路、技術方案、商務策略等,驅動各角色解決問題 ,具有良好的商業洞察與判斷,很強的邏輯思維能力、產品策劃、品牌包裝與宣傳能力,對數據和業務敏感,有一定技術背景優先考慮。
從上面的企業招聘需求可以看出,數據產品經理除了需要具備一些普通產品經理基礎能力外,對數據分析,商業智能,數據挖掘等技能有著非常高的專業門檻。雖然數據產品經理也細分出應用方向,大數挖掘方向,數據分析方向,但為了更加有效的共同,還是有必要補全知識結構。數據產品經理多是數據分析師和數據開發通過內部轉崗完成的,筆者屬于電商產品轉應用方向數據產品,在發揮業務理解優勢的同時,需要快速補全數據分析相關知識,便于與對接同事高效協作。
二、數據產品經理的朋友圈
曾經分析過AI產品經理模型,也是從產品經理的朋友圈說起,因為產品經理很多時候承擔著協調推進角色,也承擔了部分”翻譯官“的覺,將業務需求轉化成不同的語言表達,找老板要資源,請開發寫代碼,敘述清楚頁面設計要求,這個時候就需要產品掌握不同分科中的一些”黑話“,讓對方感覺你是自己人,數據產品經理也是同樣的,我們來看看數據產品經理的朋友圈,也有助于進一步理解數據產品能力模型。
圖片源于《阿里巴巴數據產品經理工作(總結篇)》
數據產品經理本質是互聯網產品經理的一個細分領域,其產品的用戶是公司內部,外部客戶等,其目標是通過數據分析和挖掘,輔助其發現問題,提高決策準確性,而為了完成這類產品,我們不單要與傳統的開發,交互,設計,用研,客戶,測試同學打交道,還需要與數據分析師,數據科學家,AI工程師,數據倉庫管理員等同學溝通,為了可以保證溝通中的效率,我們需要清楚溝通時可能會涉及到哪些專業名詞,技術實現邊界,行業發展情況,競品實現邏輯,筆者將嘗試在后續文章中梳理總結。
三、能力模型構建
數據產品經理是產品經理崗位的一個細分領域,其能力模型可以理解為一般產品經理能力模型+專業能力補充模型。下圖是騰訊產品經理能力模型體系,清晰界定了不同等級產品經理19個能力側重方向,整體來看學習能力,執行力,溝通能力,市場/用戶調研與分析是最核心能力。
以上19個基礎能力模型中,數據產品經理在技術知識模塊和市場分析能力/前瞻性需要了解/熟悉/掌握如下知識和技能:
1、計算機語言層面:熟練使用MySQL,SQL、Hive等語言;
2、熟悉數據生產加工流程:數據采集,數據預處理,數據存儲,數據分析,數據挖掘,數據可視化,數據服務產品化;
3、需要了解的各類技術理論及發展趨勢
了解主流大數據產品及分布式大數據技術,如Hadoop(HDFS和MapReduce),Hive等;
了解主流大數據編程語言,如python、R、mongodb等、
了解主流BI產品,如Tableau、saiku、kylin、BDP、growingIO、神策等、
了解數據倉庫技術及理論,并對其發展趨勢有深入了解;
了解數據分析,數據建模和數據挖掘技術及理論;
四、數據產品經理經常面對的基礎概念
1. 可能接觸到的英文縮寫
數據倉庫?Data Warehouse
數據集市 Data Mart
數據挖掘 Data Mining
DBMS:Database Management System數據庫管理系統
DBA: Database Administrator數據庫管理員
RDBMS:Relational Database Management System關系數據庫管理系統
OLAP:(On-Line Analytical Processing)聯機分析處理。OLAP是數據倉庫系統的主要應用,支持復雜的分析操作,側重決策支持,并且提供直觀易懂的查詢結果。
OLTP:(On-Line Transaction Processing)聯機事務處理。OLTP是傳統的關系型數據庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。
BI: Business Intelligence 商業智能
KDD:knowledge discovery in databases 數據庫知識發現
2. 數據分析,數據建模和數據挖掘的定義和區別
(1)數據分析
Analysis of data is a process of inspecting, cleansing, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision-making.[源于wikipedia]
可以看出,數據分析強調使用統計學方法,發現有用信息,支持決策,構造建設性結論。
(2)數據挖掘
Data mining is the computational process of discovering patterns in large data sets involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems. It is an interdisciplinary subfield of computer science. The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.[源于wikipedia]
數據挖掘與大數據關聯性更加密切,利用人工智能,機器學習,統計學等知識,對于大型數據集進行分析,發現規律,預測未來,輔助決策。
(3)數據建模
Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.[源于wikipedia]
數據建模是對現實世界各類數據的抽象組織,確定數據庫需管轄的范圍、數據的組織形式等直至轉化成現實的數據庫。?建模過程中的主要活動包括:確定數據及其相關過程;定義數據;確保數據的完整性;定義操作過程;選擇數據存儲技術。數據建模大致分為三個階段,概念建模階段,邏輯建模階段和物理建模階段。其中概念建模和邏輯建模階段與數據庫廠商毫無關系,換言之,與MySQL,SQL Server,Oracle沒有關系。
數據分析和數據挖掘的關系:從數據量級來看,一般情況下,數據分析的數據量可能并不大,而數據挖掘的數據量極大。從建模條件來看,數據分析是從一個假設出發,需要自行建立方程或模型來與假設吻合,而數據挖掘不需要假設,可以自動建立方程。從分析對象來看,數據分析往往是針對數字化的數據,而數據挖掘能夠采用不同類型的數據。
從結果來看,數據分析對結果進行解釋,呈現出有效信息,數據挖掘的結果不容易解釋,對信息進行價值評估,著眼于預測未來,并提出決策性建議。數據挖掘與數據分析兩者緊密相連,具有循環遞歸的關系
3. 數據庫,數據倉庫和數據集市的定義和區別
(1)數據庫
數據庫是指長期存儲在計算機內有組織的、可共享的數據集合。數據庫中的數據按一定的數據模型組織、描述和存儲,具有較小的冗余度、較高的數據獨立性和易擴展性,并可為各種用戶共享。數據庫理論的研究主要集中于關系的規范化理論、關系數據理論等。近年來,隨著人工智能與數據庫理論的結合及并行計算機的發展,數據庫邏輯演繹和知識推理、并行算法等理論研究,以及演繹數據庫系統、知識庫系統和數據倉庫的研制都已成為新的研究方向。
(2)數據倉庫
數據倉庫(Data Warehouse) 是一個面向主題的(SubjectOri2ented) 、集成的( Integrate ) 、相對穩定的(Non -Volatile ) 、反映歷史變化( TimeVariant) 的數據集合用于支持管理決策。首先,數據倉庫用于支持決策,面向分析型數據處理,其次,數據倉庫是對多個異構的數據源有效集成,集成后按照主題進行了重組,并包含歷史數據,而且存放在數據倉庫中的數據一般不再修改。
(3)數據集市
為最大限度地實現靈活性,集成的數據倉庫的數據應該存儲在標準RDBMS(關系數據庫管理系統Relational Database Management System) 中,并經過規范的數據庫設計,以及為了提高性能而增加一些小結性信息和不規范設計。這種類型的數據倉庫設計被稱為原子數據倉庫。原子數據倉庫的子集,又稱為數據集市。
(4)數據庫和數據倉庫的區別
數據庫是面向事務的設計,數據倉庫是面向主題設計的。數據庫一般存儲在線交易數據,數據倉庫存儲的一般是歷史數據。從時間屬性來看,數據庫保存信息的時候,并不強調一定有時間信息。數據倉庫則不同,出于決策的需要,數據倉庫中的數據都要標明時間屬性。
4. 商務智能與大數據的概念及發展概況
BI(Business Intelligence)即商務智能,它是一套完整的解決方案,用來將企業中現有的數據進行有效的整合,快速準確地提供報表并提出決策依據,幫助企業做出明智的業務經營決策。
商業智能的概念最早在1996年提出。當時將商業智能定義為一類由數據倉庫(或數據集市)、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。而這些數據可能來自企業的CRM、SCM等業務系統。
主流商業智能產品:Tableau、saiku、kylin、BDP、growingIO、神策、阿里數加等。筆者正在閱讀阿里巴巴的 《大數據之路》,后續將結合阿里數加產品整理閱讀心得。
大數據(big data),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。大數據包括結構化、半結構化和非結構化數據,非結構化數據越來越成為數據的主要部分。
大數據的發展趨勢:數據資源化,大數據與云計算深度結合,科學理論的突破,數據科學和數據聯盟的成立,數據泄露泛濫,數據管理成為核心競爭力,數據質量是BI成功的關鍵,數據生態系統復合化程度加強。
5. 數據處理流程
需求分析,數據采集,數據預處理,數據分析,數據挖掘,數據可視化,數據服務產品化(模板化)。
- 數據產品需求分析:向業務部門進行調研,了解業務需要解決的問題,將業務問題映射成數據分析工作和任務,同時結合平臺已有能力,確定數據分析或挖掘方案。
- 數據采集:第一步需要定義數據源選擇,DBA可以基于數據分析需要,找到相關數據,建立一張數據寬表,將數據倉庫的數據引入到這張寬表當中,基于一定的邏輯關系進行匯總計算。這張寬表作為數據分析的基礎,然后再依據數據分析需要衍生出一些不同的表單,為數據分析提供干凈全面的數據源;
- 數據預處理:需要完成數據類型選擇,缺失值處理和異常值檢測和處理,實現數據標準化;
- 數據分析:詳見下文,常見數據分析分析方法應用場景和概念;
- 數據挖掘:詳見下文,結合機器學習的數據挖掘概述;
- 數據可視化:詳見下文;
- 數據服務產品化:將結合阿里巴巴產品做細致分析。
后續筆者將梳理數據產品設計結構,從數據驅動產品設計,數據分析常用方法,數據分析工具的使用等,感興趣的朋友可以添加關注。
#專欄作家#
田宇洲(微信公眾號:言之有術),人人都是產品經理專欄作家,北京大學軟件工程管理碩士,北京電信4年產品經理,負責B2B電商平臺的前后端產品設計,擅長游戲化產品設計,挖掘用戶畫像。
本文原創發布于人人都是產品經理。未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議
請問是否還有后續了呢?
大家期待已久的《數據產品經理實戰訓練營》終于在起點學院(人人都是產品經理旗下教育機構)上線啦!
本課程非常適合新手數據產品經理,或者想要轉崗的產品經理、數據分析師、研發、產品運營等人群。
課程會從基礎概念,到核心技能,再通過典型數據分析平臺的實戰,幫助大家構建完整的知識體系,掌握數據產品經理的基本功。
學完后你會掌握怎么建指標體系、指標字典,如何設計數據埋點、保證數據質量,規劃大數據分析平臺等實際工作技能~
現在就添加空空老師(微信id:anne012520),咨詢課程詳情并領取福利優惠吧!
請問下面的文章什么時候出來
您好,看到您的總結分享非常受用,正準備去您前公司面試,是否方便加個微信交流下?我的微信是是15117939739,謝謝。
田經理好,能否加我微信zh_yq2。希望交流下產品經驗。謝謝,學習了。
好的,數據智能PM,你能給我講講嗎~哈哈哈
同為數據PM,只是不“智能”,一起交流下,哈哈
下文在哪里?
跳槽的時候以為自己做的是數據產品,結果進來了發現實際中做的是AI產品。。?!,F在先補充AI的知識,然后在系統學習一下部門的數據系統,在做總結~
?? 加油
機緣巧合,剛入門數據產品,什么都不懂,基礎認知大有裨益,期待后續。
短期內沒有后續,哈哈,不過會有的的
請問數據產品是不是只有程序員能做呢,
期待后續文章,這篇個人拙見是門檻外的人看屋內的事情。
哈哈,是的,慢慢往里面看,先看出來個框,慢慢深入補全,后面我可能也要在產品和數據分析,挖掘掙扎了。。。
最近怎么不更新了呀
跳槽的時候以為自己做的事數據產品,結果進來了發現實際中做的是AI產品。。?!,F在先補充AI的知識,然后在系統學習一下部門的數據系統,在做總結~