前段時間學習完了python，再加上最近需要找工作，決定爬取招聘網站（本文以拉勾網為抓取對象），通過建立相關數據模型，分析產品經理相關要求和職責，指導簡歷制作及今后產品努力的方向。

一、確定目標

本文以拉勾網作為抓取對象，主要在于拉勾網是互聯網求職者的一個重要渠道，分析拉勾網具有一定參考意義。

二、獲取數據

確定好目標好，下一步就到了獲取數據源步驟。獲取數據源是數據分析的前提和基礎。獲取數據源主要有四種常見的方式：

1. 互聯網公開數據

互聯網公開數據主要通過搜索獲取，例如，想要獲取2016收集銷量排行數據，可通過輸入相關關鍵詞獲取相應結果，圖1 2016年收集銷量排行榜，輸入“手機銷量排行榜2016”，得出有關銷售量結果。

圖1 2016年收集銷量排行榜

當然，直接通過搜索引擎獲取結果是一件比較幸運的事，不過，在獲取數據時，一般不會直接獲取到想要的數據。除了互聯網公開數據外，本地數據也是一個重要數據來源渠道。

2. 本地數據

本地數據主要指存儲在本地電腦、網盤等載體內的數據，以PDF、Word、Excel及CSV為主。例如，圖2 快消品行業分析報告，收集了快消品在營銷、趨勢等方面的數據。

圖2 快消品行業分析報告

3. API數據

API數據是一個重要的數據渠道，尤其隨著互聯網數據存儲量越來越大以及眾多網站開放了API接口，使得API接口數據成為重要形式。目前，有很多API數據應用市場，例如，百度API store ，聚合數據等，整合各種類型API，用戶可通過申請apikey，獲取相關數據。例如，想要獲取全國天氣實時數據，可通過調用天氣API，獲取實時數據。如圖3，全國天氣數據接口，申請APIkey，導入相應庫，獲取數據。

圖3 全國天氣數據接口

4. 數據庫數據

數據庫是存儲數據的重要載體，目前，常用的數據庫有mysql、sqlserver及oracle等，讀取數據庫數據需要sql語句。

5. 爬蟲數據

數據爬取是當前獲取數據的一種重要方式，通過比如用爬蟲工具爬取點評網站的商家評分、評價內容等，或是直接自己人肉收集（手工復制下來），亦或是找一個免費問卷網站做一份問卷然后散發給你身邊的人，都是可以的。這種方式受限制較少，但工作量/實現難度相對較大。不過，爬蟲數據需要具有一定的編程基礎，當前在爬取數據方面常用的是python。

本文爬取拉勾網也是采取python作為爬蟲語言。本文在獲取數據時，采取數據抓取的方式，著重闡述如何爬取拉勾網相關數據的。

爬取拉勾網：

數據爬取，簡單的說，就是利用python寫一個定向爬蟲腳本，抓取北京產品經理在工作年限、學歷要求及行業領域等方面的數據，通過數據數據挖掘模型，分析各個維度下產品經理相關要求。如圖4產品經理抓取界面：

圖4 產品經理抓取界面

通過分析檢查元素－network-doc-分析http請求方式（get\post）-分析網頁div、css選擇類之后，選擇requests、BeautifulSoup、正在表達式等工具后，開始爬蟲（此處省去爬蟲具體分析及爬蟲過程），爬蟲結束后，將爬蟲結果存入本地Excel(由于數據量較少，沒有使用mysql)。如圖5 部分代碼界面：

圖5 爬蟲結果界面

獲取數據后，將數據存儲在EXcel中，此時數據較亂，會出現空值等情況，針對此情況，需要進行數據清洗的過程。

三、清洗數據

爬蟲獲得的數據，90%以上的情況，你拿到的數據都需要先做清洗工作，排除異常值、空白值、無效值、重復值等等。這項工作經常會占到整個數據分析過程將近一半的時間。如果在上一步中，你的數據是通過手工復制/下載獲取的，那么通常會比較干凈，不需要做太多清洗工作。但如果數據是通過爬蟲等方式得來，那么你需要進行清洗，提取核心內容，去掉網頁代碼、標點符號等無用內容。無論你采用哪一種方式獲取數據，請記住，數據清洗永遠是你必須要做的一項工作。通過對數據清洗后，下圖6 數據清洗后的數據：

圖6 清洗后數據

四、整理數據及分析

清洗過后，需要進行數據整理，即將數據整理為能夠進行下一步分析的格式，由于數據量較少，并沒有采用Spss，而是Excel。整理完相關數據后，確定分析的維度及指標，一般計算一些二級指標就可以，例如，通過計算手機銷售量同比、環比等增長率。如果你收集的是一些非數字的數據，比如對商家的點評，那么你進行下一步統計之前，需要通過“關鍵詞-標簽”方式，將句子轉化為標簽，再對標簽進行統計。當然，非數字的數據，還通常用分詞統計，例如，崗位要求可以采用sae分詞統計及關鍵詞抽離等方式，抽離出關鍵標簽及統計。

五、結 論

做完以上工作后，下一步對數據分析并制作數據報表。主要涉及到工資分配表，圖7 工資分配表、圖8工作經驗表、圖9公司簡介表、圖10崗位要求表。

圖7 工資分配表

圖 8－1工作經驗表

圖 8－2工作經驗表（年限）

圖8-3工作經驗表（學歷）

圖9公司簡介表

圖10崗位要求表

通過圖7 工資分配表可知，北京地區產品經理主要集中在10K-20K之間（此次沒有對各個區間合并），工作經驗主要要求在1-3年及3-5年兩個區間，學歷以最低本科學歷為主，公司方面，以不需要融資、A輪及上市公司為主，通過崗位要求關鍵詞提煉，工具技能（axure、visio等）為基本要求，除了基本的需求分析、產品流程外，數據分析技術能力、市場能力也是一些比較看重的。

注：時間較倉促，分析的維度及采集數據較少

作者：勵秣，中臺PM

本文由 @勵秣 原創發布于人人都是產品經理。未經許可，禁止轉載。