產(chǎn)品經(jīng)理10大基礎(chǔ)技能(1):讀透SQL
本文總結(jié)分享了什么是SQL、它的應(yīng)用場景、如何學(xué)習(xí)掌握、如何具體操作?
本篇靈感源自援引《經(jīng)濟(jì)學(xué)人》最近發(fā)表的一篇文章,預(yù)計2020年將成為AI技術(shù)全面成為主流的一年而起,先撰寫比較火熱的數(shù)據(jù)產(chǎn)品經(jīng)理崗位,在數(shù)據(jù)產(chǎn)品經(jīng)理崗位里有對產(chǎn)品經(jīng)理必須要懂的技術(shù)SQL、AHP、序列分析、PCB主成分分析等等,先講SQL。
在本文中首先介紹SQL是什么,然后重點介紹怎么學(xué)SQL,同時又將學(xué)SQL分成一方面:學(xué)SQL的基礎(chǔ)理論方面,另外一方面:學(xué)SQL的基礎(chǔ)操作方面。
在講解產(chǎn)品經(jīng)理具體操作方面,講解了基本SELECT語句操作,基本索引操作和數(shù)據(jù)建模操作等詳實案例,以饗讀者!
一、SQL是什么?
SQL是一種特定目的編程語言,用于管理關(guān)系數(shù)據(jù)庫管理系統(tǒng),或在關(guān)系流數(shù)據(jù)管理系統(tǒng)中進(jìn)行流處理。
SQL基于關(guān)系代數(shù)和元組關(guān)系演算,包括一個數(shù)據(jù)定義語言和數(shù)據(jù)操縱語言。
SQL的范圍包括數(shù)據(jù)插入、查詢、更新和刪除,數(shù)據(jù)庫模式創(chuàng)建和修改,以及數(shù)據(jù)訪問控制。
二、SQL應(yīng)用場景?
例如,當(dāng)您的股東或者老板想要查看以下問題時,您可以用SQL來做出對應(yīng)的產(chǎn)品呈現(xiàn):
- 統(tǒng)計不同月份的下單人數(shù)
- 統(tǒng)計三月份的復(fù)購率和回購率
- 統(tǒng)計男女用戶的消費頻次是否有差異
- 統(tǒng)計多次消費的用戶,第一次和最后一次的消費間隔是多久
- 統(tǒng)計不同年齡段,用戶的消費金額是否有差異
有的同學(xué)說這些EXCEL也可以做呀,對是可以,但是現(xiàn)在市場的數(shù)據(jù)量EXCEL是負(fù)載不了的,EXCEL也容易崩潰。
另外SQL也可以在更大量級的數(shù)據(jù)庫和數(shù)據(jù)倉庫間進(jìn)行查詢和數(shù)據(jù)分析。
有的同學(xué)說產(chǎn)品經(jīng)理不需要懂?dāng)?shù)據(jù)倉庫,更不需要懂SQL。
在筆者LineLian的實戰(zhàn)工作中,市場上以做出自己公司的數(shù)據(jù)倉庫產(chǎn)品,做出自己公司的數(shù)據(jù)分析產(chǎn)品為產(chǎn)品本體的需求在持續(xù)爆發(fā)增長,所以作為市場需求旺盛的10大基礎(chǔ)技能之一產(chǎn)品經(jīng)理應(yīng)該懂SQL。
三、怎么學(xué)SQL?
3.1 學(xué)SQL的基礎(chǔ)理論方面
- 了解建立數(shù)據(jù)庫的意義,為什么不能用excel而需要用數(shù)據(jù)庫?以及有哪些方面的應(yīng)用?
- 數(shù)據(jù)庫系統(tǒng)在整個網(wǎng)站中處于一個什么位置?在數(shù)據(jù)后臺如何調(diào)用數(shù)據(jù)庫的數(shù)據(jù)?
- 數(shù)據(jù)庫的應(yīng)用范圍?什么時候才不得不使用數(shù)據(jù)庫?什么時候數(shù)據(jù)庫也不靈了?(一般10萬條及以上數(shù)據(jù)用數(shù)據(jù)庫,千萬級條數(shù)據(jù)是一般數(shù)據(jù)庫的極限)
- 表與表之間存在著怎樣的邏輯?理解實體、關(guān)系、主鍵、外鍵。
3.2 學(xué)SQL的基礎(chǔ)操作方面
3.2.1 學(xué)會操作一些基本的select的操作
操作例如:將下表中列出所有建筑物以及每個建筑物(包括空建筑物)中不同的員工角色表如下圖所示:
SELECT distinct role ,Building_name
FROM Buildings
LEFT JOIN Employees
ON Buildings.building_name=employees.building
3.2.2 了解索引,知道如何建立索引,應(yīng)用索引
例如創(chuàng)建索引的標(biāo)準(zhǔn)語法:CREATE INDEX 索引名 ON 表名 (列名)
3.2.3 了解數(shù)據(jù)類型,知道如何給各個數(shù)據(jù)建立對應(yīng)的模型
(1)了解數(shù)據(jù)類型
數(shù)據(jù)有結(jié)構(gòu)化的數(shù)據(jù)類型,常見于存在我們數(shù)據(jù)表中的數(shù)據(jù);也有半結(jié)構(gòu)化的數(shù)據(jù)類型,例如我們百度查詢某個頁面結(jié)果展示的多是半結(jié)構(gòu)化數(shù)據(jù);也有非結(jié)構(gòu)化數(shù)據(jù)像圖片、聲音、視頻等等數(shù)據(jù)類型。
(2)產(chǎn)品經(jīng)理需要會如下的數(shù)據(jù)建模全流程
數(shù)據(jù)建模分析線路一:
準(zhǔn)備數(shù)據(jù)是從數(shù)據(jù)埋點、數(shù)據(jù)采集、數(shù)據(jù)清洗開始,然后對數(shù)據(jù)進(jìn)行直觀的描述分析和洞察,再然后給出數(shù)據(jù)展現(xiàn),最后撰寫數(shù)據(jù)分析報告。
例如:下表是某些學(xué)生的語文、數(shù)學(xué)、外語、科學(xué)成績統(tǒng)計表:
首先,假設(shè)這些科目成績不相關(guān),也就是說某一科目考多少分與其他科目沒有關(guān)系。那么一眼就能洞察出來,數(shù)學(xué)、外語、科學(xué)這三門課的成績構(gòu)成了這組數(shù)據(jù)的主成分(很顯然,數(shù)學(xué)作為第一主成分,因為數(shù)學(xué)成績拉的最開)。為什么一眼能看出來?因為坐標(biāo)軸選對了!
但是當(dāng)數(shù)據(jù)量足夠大的時候,通過洞察就不是這么容易看出來數(shù)據(jù)的特征了。
數(shù)據(jù)建模分析線路二:例如下面閑魚APP分析用戶行為的例子
用數(shù)據(jù)建模的方法分析用戶行為流程圖如下:
首先分析用戶行為,分析業(yè)務(wù)需求:
一般將用戶行為定義為:由一系列的行為事件所串聯(lián)成的序列。這個定義在不同的“粒度”上有不同的解釋,比如粗粒度上來看,“搜索商品”->”聊天“->“下單”為一個用戶行為,其中“搜索商品”是一個行為事件。
但是從細(xì)粒度上來看,“搜索商品”包含了多個更小的事件,比如“點擊搜索框->輸入文本->點擊搜索按鈕->查看搜索結(jié)果”等,從細(xì)粒度上這幾個事件同樣可以定義為行為事件,此時“搜索商品”就變成了一個用戶行為。
因此,分析用戶行為需求,要先看從哪個維度上進(jìn)行分析。
在本案例中將行為事件定義為“頁面跳轉(zhuǎn)”和“按鈕點擊”兩類事件,而用戶行為則是“多個行為事件”根據(jù)時間順序串聯(lián)起來的序列。
對應(yīng)到數(shù)據(jù)形式上,每一個“頁面跳轉(zhuǎn)”都對應(yīng)一個埋點,每一個“按鈕點擊”也都對應(yīng)一個埋點,
因此,用戶行為數(shù)據(jù)建模分析,實際上也就變成了:埋點序列數(shù)據(jù)建模分析。
埋點序列數(shù)據(jù)建模圖如下:
從上圖中可見先通過聚類算法例如K-mean對埋點的人群進(jìn)行分類,得到不同的人群,然后再對不同人群運用序列挖掘模型挖掘得到不同的行為,最后得出異?;蛘哒5男袨榕袛嘟Y(jié)果。
假如用數(shù)據(jù)建模來發(fā)現(xiàn)未知黑產(chǎn)人群,用上述方法,對閑魚的用戶埋點進(jìn)行分析,發(fā)現(xiàn)聚類出的人群里,有一類人群的行為序列是:
“商品搜索結(jié)果頁->打開某個商品->點擊聊天->發(fā)送文件->返回商品搜索結(jié)果頁->打開某個商品->點擊聊天->發(fā)送文件”
洞察查看這群人發(fā)送的文件發(fā)現(xiàn),全部都是廣告視頻,也就是說,這些都是黑產(chǎn)賬號,不斷的在發(fā)送廣告視頻給別的用戶,而這些黑產(chǎn)行為,是我們原先“未知”的(不需要提前知道這種行為的存在)。
說明一下傳統(tǒng)的黑產(chǎn)模型用的是AHP層次分析法模型為主,即通過漏洞補上和行業(yè)專家打分的方法來實現(xiàn)風(fēng)控和安全。
通過數(shù)據(jù)建模這種方式相比原來的AHP專家打分“補漏”型黑產(chǎn)防控有以下優(yōu)勢:
沒有經(jīng)驗預(yù)設(shè),可以快速從數(shù)據(jù)中發(fā)現(xiàn)新型的黑產(chǎn)行為模式,而不必等到大面積用戶反饋以后做補漏。
數(shù)據(jù)建模算法抽象出來的行為模式相比人工“總結(jié)”會更加準(zhǔn)確。(原來的防控大多數(shù)是根據(jù)用戶反饋,然后人工觀察這些人的行為,并用規(guī)則去識別匹配這些行為)
當(dāng)然,數(shù)據(jù)建模這樣的數(shù)據(jù)還需要進(jìn)一步挖掘才能得到實際可利用的信息,針對不同業(yè)務(wù)和問題,也有不同的利用方式,這里也還只是一個案例思路,希望能從這個新的數(shù)據(jù)視角挖掘到對產(chǎn)品業(yè)務(wù)有用的信息。
小結(jié)一下
在紅利輩出的年代,選擇做什么選擇學(xué)什么比擅長做什么更重要!
在市場運營上大家比較期待用戶增長,客戶爆發(fā);在技術(shù)上Python、React(web)、Angular、機(jī)器學(xué)習(xí)以及Docker將也已成為市場需求最為旺盛的需求。
在產(chǎn)品經(jīng)理崗位上一方面要盯緊市場運營的業(yè)務(wù)需求,迭代產(chǎn)品配合實現(xiàn)用戶增長;另外一方面要緊盯技術(shù)發(fā)展。畢竟科學(xué)技術(shù)是第一生產(chǎn)力,所以產(chǎn)品經(jīng)理不能僅僅是畫原型的經(jīng)理,而要持續(xù)學(xué)習(xí),在數(shù)據(jù)中臺產(chǎn)品,數(shù)據(jù)平臺產(chǎn)品,數(shù)據(jù)智能產(chǎn)品,純AI產(chǎn)品持續(xù)井噴的年代。
悲觀者往往正確,樂觀者常常成功!
最后筆者建議在AI時代,產(chǎn)品技術(shù)運營的第一要務(wù)就是為未來的全新工作方式做好準(zhǔn)備。未來已來,未來需要數(shù)據(jù)驅(qū)動增長,未來需要數(shù)據(jù)智能化,未來需要產(chǎn)品經(jīng)理具有的技能,讓我們持續(xù)一起讀懂。
如果你想系統(tǒng)化入門AI產(chǎn)品經(jīng)理,掌握AI產(chǎn)品經(jīng)理的落地工作方法,戳這里>http://996.pm/7bjab
#專欄作家#
連詩路,公眾號:LineLian。人人都是產(chǎn)品經(jīng)理專欄作家,《產(chǎn)品進(jìn)化論:AI+時代產(chǎn)品經(jīng)理的思維方法》一書作者,前阿里產(chǎn)品專家,希望與創(chuàng)業(yè)者多多交流。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash, 基于CC0協(xié)議
主題不清晰
那到底是如何學(xué)習(xí)的
總的來說,偏離主題啥也沒說
請問什么事數(shù)據(jù)清洗啊
數(shù)據(jù)清洗就是去除臟數(shù)據(jù)、無用得數(shù)據(jù)、空數(shù)據(jù)等
ulllqq
^_^
求大神續(xù)更! ??
給連老師打call : ?? ??