1.最直接的賣數(shù)據(jù)

 

　　你是否經(jīng)常接到廣告推銷的電話，推薦你去植發(fā)？

 

　　你是否經(jīng)常接到發(fā)財致富的電話，推薦你去投資？

 

 

　　個人信息，電商數(shù)據(jù)，行業(yè)數(shù)據(jù)等等都是一些熱度比較高的交易對象。

 

　　在13項公民信息種類中（姓名、年齡、有效證件號碼、婚姻狀況、工作單位、學歷、履歷、家庭住址、電話號碼等），報價最低1元/條，最高達到3000元/條。高學歷人口信息價格20元－60元/條不等，銀行流水單信息1000元-3000元/條。公民通訊住址信息是最常見的非法黑市交易類型，在所有信息種類中占近三成。

 

　　哎，學歷低連信息都不值錢。

 

 

　　收集整理不同來源的數(shù)據(jù)，然后整理方便查閱，提高流量。然后上廣告，查詢收費來盈利。

 

　　天眼查，企查查這類網(wǎng)站都是同樣的一個運營模式，爬取一些政府公開的數(shù)據(jù)，進行整理分析合并，然后給會員提供查閱服務。

 

　　

 

　　還有這種比價網(wǎng)站，獲取一些電商的數(shù)據(jù)，進行整理，然后靠競價排名，商家返還紅包等手段進行盈利。

　　

 

 

　　獲取行業(yè)信息，進行定價選址。

 

　　獲取評論信息，進行輿論檢測。

 

　　獲取內部信息，進行戰(zhàn)略制定。

 

　　四、到底什么是爬蟲？

 

 

　　從事這種工作，當拿到數(shù)據(jù)之后，假如你只是個工具人，那么你的工作結束了可以直接開始摸魚，剩下的交給數(shù)據(jù)分析組或者算法組的同事，就可以了。

 

　　但是一般情況下，老板為了他的蘭博基尼，會讓你再學習一些業(yè)務，再做一些數(shù)據(jù)清洗，分析，可視化的工作。

 

　　當你做完這些的時候，老板為了他的法拉利，會讓你再做一個后臺，進行爬蟲監(jiān)控調度。

 

　　當你后臺做完之后，老板為了他的勞斯萊斯，會讓你再做一個網(wǎng)站或者app，前后端一起搞，用來給搜索查詢展示數(shù)據(jù)，類似天眼查一樣。

 

　　當你前端后端搞定之后，老板為了他的賓利，會讓你再做一個智能解析器，只需要輸入個網(wǎng)址，就能進行這個網(wǎng)站的解析，提取數(shù)據(jù)，然后保存入庫。

 

　　老板還要邁巴赫，帕加尼，布加迪，邁凱倫，阿斯頓馬丁等等等等，無窮盡也。

 

　　六、爬蟲流程

 

　　三步即可搞定爬蟲

 

　　模擬網(wǎng)絡請求

 

　　（通過一些請求工具模擬人的網(wǎng)頁請求urllib，requests，aiohttp，twisted）

 

　　信息解析

 

　　（對請求結果的html，js，json等進行處理，主要使用xpath，css選擇器，re正則）

 

　　數(shù)據(jù)持久化

 

　　（對解析的結果進行存儲，本地文件或者數(shù)據(jù)庫）

 

　　最關鍵的一部就是第一步，其他基本就是體力活了。因為第一步你會越到各種各樣的反爬措施，倒逼爬蟲攻城獅學習前端，后端，圖片識別，web安全，android安全，機器學習……

 

　　基本上大綱設計就是遵循爬蟲三步走的順序。