產(chǎn)品經(jīng)理10大基礎(chǔ)技能(3):讀懂?dāng)?shù)據(jù)倉庫
一般產(chǎn)品經(jīng)理需要懂到數(shù)據(jù)庫,但數(shù)據(jù)產(chǎn)品經(jīng)理不僅要懂得數(shù)據(jù)庫還要懂到數(shù)據(jù)倉庫!
本篇講解產(chǎn)品經(jīng)理為什么要懂?dāng)?shù)據(jù)倉庫?數(shù)據(jù)產(chǎn)品經(jīng)理如何構(gòu)建數(shù)據(jù)倉庫?構(gòu)建數(shù)據(jù)倉庫以后如何利用數(shù)據(jù)倉庫賦能產(chǎn)品業(yè)務(wù)?最后講解數(shù)據(jù)倉庫產(chǎn)品的未來是什么樣子?
一、為什么要懂?dāng)?shù)據(jù)倉庫?
產(chǎn)品經(jīng)理都知道做出能用的小程序幾千幾萬塊都可以做出來,做個(gè)能用的APP幾萬幾十萬也可以做出來,但是一個(gè)能用的數(shù)據(jù)倉庫產(chǎn)品或者有點(diǎn)商務(wù)智能的數(shù)據(jù)倉庫產(chǎn)品則至少要花費(fèi)千萬級(jí)。
動(dòng)則花費(fèi)數(shù)千萬的數(shù)據(jù)倉庫產(chǎn)品,它有什么作用呢?
最簡單的數(shù)據(jù)倉庫是用于存儲(chǔ)和報(bào)告數(shù)據(jù)的系統(tǒng)。數(shù)據(jù)通常源自多個(gè)系統(tǒng),然后將其移入數(shù)據(jù)倉庫以進(jìn)行長期存儲(chǔ)和分析。該存儲(chǔ)的結(jié)構(gòu)使得組織內(nèi)的許多部門或部門的用戶可以根據(jù)他們的需要訪問和分析數(shù)據(jù)。
數(shù)據(jù)倉庫產(chǎn)品功能結(jié)構(gòu)圖如下:
從上圖可見,數(shù)據(jù)倉庫包含來自許多操作源的數(shù)據(jù)有APP應(yīng)用的數(shù)據(jù),也有Oracle的數(shù)據(jù)。經(jīng)過數(shù)倉以后的結(jié)構(gòu)它可用于分析數(shù)據(jù),例如制作用戶畫像標(biāo)簽,推薦系統(tǒng)等。數(shù)據(jù)倉庫不僅是分析工具,同時(shí)支持跨多個(gè)部門的用戶的決策和報(bào)告。也是檔案,包含未在操作系統(tǒng)中維護(hù)的歷史數(shù)據(jù)。
小結(jié):產(chǎn)品經(jīng)理為啥要懂?dāng)?shù)據(jù)倉庫呢?
- 因?yàn)樾枰覀儺a(chǎn)品經(jīng)歷設(shè)計(jì)的用戶畫像產(chǎn)品,推薦系統(tǒng)產(chǎn)品,自助報(bào)表產(chǎn)品,及其他可視化產(chǎn)品可以通過數(shù)據(jù)倉庫產(chǎn)品和模型更方便的讀取。
- 隨著數(shù)據(jù)量從GB到TB再到PB甚至到EB、ZB的增大,如果不構(gòu)建穩(wěn)定干凈能夠快速可以利用的數(shù)據(jù)倉庫,對(duì)任何企業(yè)來說都是資產(chǎn)的損失。
- 也許以后所以的產(chǎn)品經(jīng)理都會(huì)成為數(shù)據(jù)產(chǎn)品經(jīng)理,而對(duì)數(shù)據(jù)產(chǎn)品經(jīng)理來說其核心技能是主導(dǎo)設(shè)計(jì)更加優(yōu)秀的數(shù)據(jù)倉庫產(chǎn)品。
二、數(shù)據(jù)產(chǎn)品經(jīng)理構(gòu)建數(shù)據(jù)倉庫產(chǎn)品的步驟是什么?
筆者LineLian總結(jié)從0到1構(gòu)建數(shù)據(jù)倉庫模型產(chǎn)品為以下3步。
第一步:定位數(shù)倉需求
本處筆者以構(gòu)建買菜類產(chǎn)品的數(shù)據(jù)倉庫為例概述以點(diǎn)帶面分析數(shù)據(jù)倉庫的產(chǎn)品業(yè)務(wù)需求。
隨著永輝買菜、叮咚買菜、盒馬先生、多點(diǎn)生鮮、美團(tuán)/餓了么買菜等對(duì)生鮮電商的沖擊,想突出買菜生鮮類產(chǎn)品的競爭生存線,誰能擁有用戶的數(shù)據(jù),更懂用戶的數(shù)據(jù),更快速的為用戶送達(dá)所需要的鮮菜品,誰家的產(chǎn)品就能占領(lǐng)用戶心智。
故此決定構(gòu)建以用戶購買訂單為核心主題的數(shù)據(jù)倉庫先行建立起來,日后再逐步豐富數(shù)據(jù)倉庫的主題庫。
對(duì)先構(gòu)建的訂單主題數(shù)據(jù)倉庫需求的各個(gè)功能拆解如下圖:
對(duì)于賣菜生鮮類數(shù)倉需求來說,需要支持提供用戶商品的需求的提早預(yù)判,及關(guān)聯(lián)商品的實(shí)時(shí)推薦,配送人員的實(shí)時(shí)調(diào)度,物流的實(shí)時(shí)配送,支持用戶的洞察用戶畫像,以及報(bào)表展示和各種決策支持。
為便于理解,先從上圖以訂單為主題的數(shù)據(jù)倉庫構(gòu)建開始數(shù)倉需求分析。
小結(jié):生鮮買菜類產(chǎn)品的數(shù)據(jù)倉庫用戶訂單需求分析如下:
- 用戶購買生鮮數(shù)采的通常日期是什么?
- 用戶買菜的時(shí)間段是什么?
- 什么樣類別的菜品銷售最好?
- 哪類菜品的銷量,銷售額大?
- 什么樣的用戶傾向購買什么樣的菜品?
- 菜品的購買與客戶的地理位置有什么關(guān)系?
- 什么供應(yīng)商的菜品用戶更喜歡?
- 對(duì)于供應(yīng)商,銷售靠前的10種生鮮菜品是什么?
- 交易用,菜品訂單的狀態(tài)是什么樣的?
第二步:多維數(shù)倉建模
我們都知道,一條用戶訪問的信息,可以看做一條日志數(shù)據(jù),這條數(shù)據(jù)包含用戶的訪問路線,比如是從網(wǎng)址來,還是從第三方渠道跳轉(zhuǎn)過來。還可以看出下單后選擇的支付方式是銀行卡還是支付寶微信等。
那么為了及時(shí)的向用戶推薦商品實(shí)現(xiàn)訂單銷量的增加,我們采用什么樣的模型呢?筆者經(jīng)常用戶的構(gòu)建數(shù)倉產(chǎn)品的模型是多維建模的方式。
全面合理的設(shè)計(jì)用戶維有助于準(zhǔn)確的分析用戶的行為。用戶維的模型需要使用一些維來描述屬性層次,例如用戶的注冊(cè)日期,時(shí)間需要通過日期維和時(shí)間維來詳細(xì)描述,用戶的居住地址需要通過地理維來進(jìn)一步描述。
從上一步的用戶訂單需求分析,再此建立用戶的訂單多層次維度模型如下圖所示:
小結(jié):構(gòu)建數(shù)倉多維模型時(shí),鑒于數(shù)倉是個(gè)復(fù)雜的產(chǎn)品,里面需要涉及多個(gè)事實(shí)表和共享維表,同時(shí)維表中的某個(gè)屬性指向另外的維度。因此采用星型模型或者雪花模型來顯示一個(gè)事實(shí)表與多張維表的清晰對(duì)應(yīng)關(guān)系。
第三步:數(shù)倉數(shù)據(jù)預(yù)處理模型
這一步是倉庫中集成了幾乎企業(yè)所有的可以獲取到的數(shù)據(jù)以用于數(shù)據(jù)分析和決策支持。這些進(jìn)入到數(shù)據(jù)倉庫中的數(shù)據(jù)一般有三種,結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),它們經(jīng)過轉(zhuǎn)化后以某種形式統(tǒng)一的存儲(chǔ)在數(shù)據(jù)倉庫中,即需要ETL。
那么對(duì)于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),我們需要再數(shù)倉構(gòu)建過程中準(zhǔn)備好適合的算法模型來處理存入數(shù)倉之前的數(shù)據(jù)。
例如構(gòu)建識(shí)別URL的算法模型:
- 首先,數(shù)據(jù)預(yù)處理,從原始日志中提取數(shù)據(jù)信息存儲(chǔ)到日志表中,計(jì)算當(dāng)天頁面停留的時(shí)間,設(shè)算法如下:先計(jì)算訪問頁面的順序,訪問的時(shí)刻,最終結(jié)算出頁面的停留時(shí)間基數(shù)值。
- 其次,要計(jì)算每個(gè)頁面的停留時(shí)間,根據(jù)不同的URL類型計(jì)算影響因子,設(shè)計(jì)一套算法模型。最終算出接近現(xiàn)實(shí)的頁面會(huì)話內(nèi)容。
小結(jié):在構(gòu)建數(shù)據(jù)倉庫的概略3步中,產(chǎn)品經(jīng)理核心是輸出需求分析內(nèi)容,和構(gòu)建以需求業(yè)務(wù)為主題的具體分析及對(duì)應(yīng)的維度。
三、如何利用數(shù)倉賦能產(chǎn)品業(yè)務(wù)?
數(shù)倉幾乎用于企業(yè)的所有數(shù)據(jù),譬如銷售數(shù)據(jù)、用戶數(shù)據(jù)、頁面瀏覽數(shù)據(jù)等,想以數(shù)倉來驅(qū)動(dòng)業(yè)務(wù)發(fā)展,從而實(shí)現(xiàn)增長,才僅僅是搭建了第一步,剩下的是如何利用這些數(shù)據(jù)。
利用數(shù)據(jù),就要引入數(shù)據(jù)分析的概念,數(shù)據(jù)分析就是對(duì)數(shù)倉積累多年的海量數(shù)據(jù),進(jìn)行挖掘分析,找出數(shù)據(jù)之間隱藏的關(guān)系以及邏輯,并以分析結(jié)論制定相應(yīng)合理的決策,從而促進(jìn)產(chǎn)品業(yè)務(wù)的增長。
那要怎樣進(jìn)行數(shù)據(jù)分析?如果要進(jìn)行數(shù)據(jù)分析。
數(shù)據(jù)分析的工作一般流程有六個(gè),分別是業(yè)務(wù)需求理解,數(shù)據(jù)對(duì)應(yīng)業(yè)務(wù)理解,數(shù)據(jù)準(zhǔn)備,建模,評(píng)估,部署。這就是數(shù)據(jù)分析工作的流程。
當(dāng)然,數(shù)據(jù)分析對(duì)數(shù)據(jù)質(zhì)量的要求非常高,而且對(duì)數(shù)據(jù)的理解也必須深刻。
所以說,要想理解數(shù)據(jù)就需要很長時(shí)間。而數(shù)據(jù)倉庫的優(yōu)點(diǎn)就是能夠高效、快速地進(jìn)行數(shù)據(jù)理解和處理,所以說利用數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)分析無疑能夠給我們產(chǎn)品經(jīng)理的工作帶來很大便利。
利用數(shù)倉做數(shù)據(jù)分析的產(chǎn)品步驟是如下:
第一,數(shù)據(jù)分析要求理解數(shù)據(jù)背后對(duì)應(yīng)的每條業(yè)務(wù)主題。
數(shù)據(jù)倉庫本身是面向主題的,例如上文中我們以用戶訂單為主題構(gòu)建數(shù)據(jù)倉庫。所以其自身與業(yè)務(wù)結(jié)合就相對(duì)緊密和完善,更方便數(shù)據(jù)產(chǎn)品經(jīng)理基于數(shù)據(jù)理解業(yè)務(wù)。需要做的就是拿到業(yè)務(wù)或者運(yùn)營需求,理解數(shù)據(jù)倉庫的模型,進(jìn)而就理解了數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)。
第二,數(shù)據(jù)分析要求有較高的數(shù)據(jù)質(zhì)量。
很難想象沒有準(zhǔn)確的源數(shù)據(jù)質(zhì)量,例如,用戶的手機(jī)號(hào)是錯(cuò)的,那么再好的推薦模型也將無法發(fā)揮作用,二數(shù)據(jù)倉庫的數(shù)據(jù)是經(jīng)過ETL層層從不同的數(shù)據(jù)庫里進(jìn)行清洗轉(zhuǎn)換過的穩(wěn)定的數(shù)據(jù),以及對(duì)臟數(shù)據(jù)的清洗,這就為數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量做了較好的保障。
第三,高效的跨系統(tǒng)數(shù)據(jù)查詢,數(shù)倉的數(shù)據(jù)經(jīng)過ETL過程后流入數(shù)據(jù)倉庫,當(dāng)不同系統(tǒng)數(shù)據(jù)整合到數(shù)據(jù)倉庫之后,能夠解決兩個(gè)問題,第一就是跨系統(tǒng)數(shù)據(jù)收集問題,第二就就是跨系統(tǒng)關(guān)聯(lián)問題。
第四,構(gòu)建數(shù)據(jù)倉庫產(chǎn)品的功能時(shí),也已經(jīng)搭建了數(shù)據(jù)分析的算法和模型,例如上文中的對(duì)非結(jié)構(gòu)數(shù)據(jù)的算法模型。
四、數(shù)據(jù)倉庫產(chǎn)品的未來是什么樣子?
再美好的事物不學(xué)習(xí),不迭代也會(huì)落伍,而數(shù)據(jù)倉庫相反,數(shù)據(jù)倉庫一直在發(fā)展之中,其前世今生歷程如下圖:
故此筆者LineLian根據(jù)多年產(chǎn)品經(jīng)理和處理數(shù)據(jù)分析的實(shí)踐經(jīng)歷發(fā)現(xiàn),未來的數(shù)據(jù)倉庫基礎(chǔ)上一定能夠長出數(shù)據(jù)平臺(tái)和智能數(shù)據(jù)中臺(tái),具體數(shù)據(jù)平臺(tái)怎么搭建和智能數(shù)據(jù)中臺(tái)怎么搭建,下次再撰寫。
總結(jié):本篇通過講解最貴的產(chǎn)品之一數(shù)據(jù)倉庫的重要性,然后分析拆解數(shù)據(jù)產(chǎn)品經(jīng)理如何搭建數(shù)據(jù)倉庫產(chǎn)品的流程,最后講解產(chǎn)品工作中如何利用數(shù)據(jù)倉庫。
如果你想系統(tǒng)化入門AI產(chǎn)品經(jīng)理,掌握AI產(chǎn)品經(jīng)理的落地工作方法,戳這里>http://996.pm/7bjab
#專欄作家#
連詩路,公眾號(hào):LineLian。人人都是產(chǎn)品經(jīng)理專欄作家,《產(chǎn)品進(jìn)化論:AI+時(shí)代產(chǎn)品經(jīng)理的思維方法》一書作者,前阿里產(chǎn)品專家,希望與創(chuàng)業(yè)者多多交流。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash, 基于CC0協(xié)議
大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實(shí)戰(zhàn)訓(xùn)練營》終于在起點(diǎn)學(xué)院(人人都是產(chǎn)品經(jīng)理旗下教育機(jī)構(gòu))上線啦!
本課程非常適合新手?jǐn)?shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運(yùn)營等人群。
課程會(huì)從基礎(chǔ)概念,到核心技能,再通過典型數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn),幫助大家構(gòu)建完整的知識(shí)體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。
學(xué)完后你會(huì)掌握怎么建指標(biāo)體系、指標(biāo)字典,如何設(shè)計(jì)數(shù)據(jù)埋點(diǎn)、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺(tái)等實(shí)際工作技能~
現(xiàn)在就添加空空老師(微信id:anne012520),咨詢課程詳情并領(lǐng)取福利優(yōu)惠吧!
博主問好 (LineLian)這個(gè)號(hào)搜索不到呀?
LineLian數(shù)智產(chǎn)品窗口