中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

上一篇文章聊完不懂技術(shù)的情況下，怎么通過(guò)app抓包獲取用戶數(shù)據(jù)。今天分享一下上次抓web數(shù)據(jù)的經(jīng)歷。

文章主要提供一些解決問(wèn)題的思維方法。這篇文章可能很啰嗦，先把思路寫(xiě)出來(lái)：

1. 利用Xenu檢索全站URL地址
2. 用Excel篩選出有用的URL
3. 網(wǎng)頁(yè)爬取工具，爬取頁(yè)面中指定的內(nèi)容信息
4. Excel信息整理
5. 尋找競(jìng)品的典型用戶

• 目的：調(diào)研競(jìng)品主播基本情況。我想知道他們的主播粉絲數(shù)量分布、用戶關(guān)注數(shù)量分布、用戶送禮額度。
• 背景：一個(gè)不懂技術(shù)的產(chǎn)品經(jīng)理。

1.數(shù)據(jù)爬取

需要的數(shù)據(jù)都在競(jìng)品用戶個(gè)人空間，所以第一個(gè)想到的是讓開(kāi)發(fā)用 Python 寫(xiě)個(gè)爬蟲(chóng)。跟開(kāi)發(fā)確認(rèn)了一下時(shí)間，說(shuō)要三天，果斷放棄，自己來(lái)。

先找了個(gè)網(wǎng)頁(yè)信息爬取工具（百度一搜一大把），我用的是火車(chē)采集器。它可以對(duì)指定的URL中的頁(yè)面內(nèi)容進(jìn)行抓取。抓取的規(guī)則是通過(guò)H5標(biāo)簽識(shí)別，所以輸入需要抓取字段的起止標(biāo)簽就可以了。

我想了解的是主播收入、大R的送禮金額、還有個(gè)人空間的地址。

大R的送禮記錄個(gè)人空間就有。不過(guò)主播個(gè)人總收益是沒(méi)有展示的，所以我只能假定主播的粉絲越高，他的收益越多。

所以我最終抓取的是三個(gè)字段是：粉絲量、送禮總額、個(gè)人空間地址。

在爬取工具上設(shè)置好抓取字段，測(cè)試了幾個(gè)頁(yè)面，數(shù)據(jù)可用。然后麻煩的問(wèn)題來(lái)了，沒(méi)辦法知道觸手更多個(gè)人空間地址。

2.獲取URL

個(gè)人空間的 URL 是這樣的“//chushou.tv/u/用戶ID.htm”。觀察了一下，用戶ID是不規(guī)則的，從6位到9位都有。如果直接從一個(gè)一個(gè) URL 循環(huán)過(guò)去，抓到999999999不現(xiàn)實(shí)。

最后選擇了Xenu，這是一個(gè)檢查網(wǎng)站死鏈的工具，據(jù)說(shuō)會(huì)模擬百度蜘蛛爬取網(wǎng)站URL，檢測(cè)是否為死鏈。最重要的是會(huì)把檢查結(jié)果顯示出來(lái)，這樣我可以拿到競(jìng)品域名下所有的URL，再通過(guò)Excel篩選出我需要的個(gè)人空間URL。

避免URL爬取不完整，連續(xù)抓了3個(gè)晚上。再放到Excel中去重。Xenu在運(yùn)行時(shí)比較消耗內(nèi)存，早上來(lái)的時(shí)候都會(huì)發(fā)現(xiàn)軟件已經(jīng)崩潰，所以我三天累計(jì)抓到了近100w個(gè)URL，實(shí)際可用的只有7w個(gè)。

這樣我拿到了競(jìng)品的7w個(gè)用戶個(gè)人空間地址，不過(guò)這個(gè)數(shù)字跟他們PR出去的數(shù)字相差甚遠(yuǎn)。（嚴(yán)格來(lái)說(shuō)，由于不確定這些數(shù)據(jù)的來(lái)源，所以即便得出結(jié)論也是不可信的。）

3.數(shù)據(jù)整理

拿到這些數(shù)據(jù)就有了排行榜。我可以按照粉絲量最高的來(lái)排，尋找大主播；也可以按照送禮金額（平臺(tái)的虛擬貨幣）來(lái)排，尋找土豪粉。

尋找用戶進(jìn)行訪談：

利用百度的站內(nèi)搜索site:在競(jìng)品網(wǎng)站中搜索用戶聯(lián)系方式。比如QQ site:www.chushou.tv?或?主播 Q site:www.chushou.tv等。

這樣我能找到好多在個(gè)人簽名或公告中留有 QQ 的用戶。然后加了好友，開(kāi)始聊天。

后記

這些文字是在半年前寫(xiě)的，時(shí)隔半年，還是覺(jué)得這個(gè)過(guò)程很有趣，不斷提出問(wèn)題，解決問(wèn)題。

實(shí)際上還有很多問(wèn)題，沒(méi)啥可以實(shí)操的東西，比如：網(wǎng)站有反爬蟲(chóng)；被封 IP ；頁(yè)面中都是各種 JS 導(dǎo)致無(wú)法順利完成抓取，等等?？磦€(gè)熱鬧就好了。 ^_^

相關(guān)閱讀：

他說(shuō)：作為產(chǎn)品經(jīng)理，不懂技術(shù)和代碼也一樣可以數(shù)據(jù)抓?。ˋpp篇）

作者：王也，上海，產(chǎn)品經(jīng)理，個(gè)人公眾號(hào)：野生產(chǎn)品經(jīng)理。

本文由 @王也 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。