上個(gè)月初，我入職了一家公司，正式開啟了我的爬蟲職業(yè)生涯。雖然之前自學(xué)或者說自己鉆研并編寫了很多爬蟲，不過當(dāng)我第一次見到一個(gè)完成的爬蟲系統(tǒng)的時(shí)候，坦白說，還是覺得挺不可思議的，我大概花了2到3個(gè)禮拜對這個(gè)系統(tǒng)進(jìn)行了熟悉，現(xiàn)在在保持對原系統(tǒng)的進(jìn)行維護(hù)的同時(shí)，正著手對其進(jìn)行性能優(yōu)化。隨著理解的深入，我越發(fā)覺得爬蟲工程師的瓶頸其實(shí)并不是JS、css之類的前端反混淆技術(shù)，也不是requests、BeautifulSoup之類的網(wǎng)頁獲取解析技術(shù)，當(dāng)然也不是僅僅對爬蟲框架的使用。這些技術(shù)固然是必須的，但是真正的上升瓶頸還是工程師的素養(yǎng)：如何寫出一個(gè)高性能可擴(kuò)展的爬蟲系統(tǒng)？系統(tǒng)如何兼容數(shù)百個(gè)甚至數(shù)千個(gè)不同類型的爬取對象（網(wǎng)站）？如何管理這些爬蟲？如何高效的并發(fā)這些爬蟲？如何處理爬取之后的數(shù)據(jù)？各個(gè)子系統(tǒng)之間如何交流？和這些問題比起來，對某個(gè)特定網(wǎng)站的爬取的問題只能算是個(gè)入門級問題。

對爬蟲工程師的理解

我之前寫了很多關(guān)于爬蟲的文章，涉及了各種各樣的爬取策略；也爬了不少主流非主流的網(wǎng)站。從我剛?cè)腴T爬蟲到現(xiàn)在，每一個(gè)爬蟲對應(yīng)的文章都可以在我的博客上找到，不論是最最簡單的抓取，還是scrapy的使用。

然而爬了這么多網(wǎng)站，按理說應(yīng)付一位爬蟲工程師的工作應(yīng)該綽綽有余吧？當(dāng)然不是，正如我上文所說，在整個(gè)爬蟲系統(tǒng)中，如何抓取某個(gè)特定的網(wǎng)站其實(shí)是最小的任務(wù)模塊。而對于一個(gè)有爬蟲需求的公司而言，一個(gè)能夠長期穩(wěn)定運(yùn)行的爬蟲系統(tǒng)才是基本需求。

我從另外一個(gè)角度解釋一下這個(gè)問題，如果我們將“爬取某個(gè)頁面”稱為一個(gè)爬蟲任務(wù)。那么一般而言，我們會(huì)需要定期執(zhí)行這個(gè)爬蟲任務(wù)以滿足業(yè)務(wù)上的需求。比如說，我這有一個(gè)爬蟲任務(wù)是“爬取某只股票的當(dāng)前價(jià)格”，那么我可能會(huì)要求每10s執(zhí)行一次這個(gè)爬蟲任務(wù)以達(dá)到匯至股價(jià)走勢的目的。問題就來了，爬蟲系統(tǒng)如何保證每10s執(zhí)行這個(gè)爬蟲任務(wù)呢？time.sleep（10）？ crontab？open_signal？send_task？

最簡單的，你可以讓程序執(zhí)行一次爬蟲任務(wù)后sleep10秒，然后無限重復(fù)這個(gè)循環(huán)。嗯，如果只有一個(gè)任務(wù)，理論上是可行的，此時(shí)這個(gè)程序就是一種爬蟲系統(tǒng)。那么比這種解決方案略微高端一點(diǎn)的就是寫一個(gè)定時(shí)任務(wù)，每10秒執(zhí)行一下，這下連爬蟲系統(tǒng)都省了。

但是如果這種爬蟲任務(wù)有很多呢？比如說，我要繪制1000個(gè)不同股票的股價(jià)走勢圖。簡單一點(diǎn)的可以將爬蟲任務(wù)改成可接受參數(shù)式的，每10s中傳入1000個(gè)參數(shù)（股票代碼）并用多進(jìn)程或異步執(zhí)行這些任務(wù)。用scrapy也可以解決這個(gè)問題，scrapy其實(shí)非常適合這個(gè)場景，但是scrapy沒有定時(shí)任務(wù)，這個(gè)時(shí)候可能又會(huì)需要用到scrapyd和celery。接著，如果有100W個(gè)爬蟲任務(wù)呢？雖然有些爬蟲只需要簡單調(diào)整一下參數(shù)，這些任務(wù)可以當(dāng)成同一類爬蟲，但即使去除這些同類型爬蟲，仍然會(huì)剩下不同類型的爬蟲任務(wù)，比如說30W？那么這30W個(gè)任務(wù)我們怎么處理，不可能在一個(gè)scrapy里寫30W個(gè)spider？然后還會(huì)涉及到調(diào)度，因?yàn)槊總€(gè)爬蟲的抓取頻率可能是不一樣的；管理，爬蟲任務(wù)可能會(huì)根據(jù)產(chǎn)品需求出現(xiàn)增刪的情況；爬取結(jié)果處理，比如說去重（對100W個(gè)結(jié)果去重本身也是個(gè)不小的事情）、存儲(chǔ)等等。

另外，一個(gè)健康的爬蟲生態(tài)，一般還需要一個(gè)代理池，一個(gè)網(wǎng)頁渲染服務(wù)器，像爬微博的話可能還需要Cookie池，然后這個(gè)系統(tǒng)本身應(yīng)該是高可用高可擴(kuò)展的。隨著爬蟲任務(wù)數(shù)量的增加，各個(gè)地方都有可能產(chǎn)生性能瓶頸。這也是我為什么說，爬取任務(wù)其實(shí)是最小的一環(huán)，對于單次任務(wù)的執(zhí)行速度，甚至有時(shí)候它的成敗都不是關(guān)鍵。

插一句，scrapy仍然是一個(gè)很強(qiáng)大很厲害的框架，它是我目前認(rèn)知里最牛逼的爬蟲框架。它的厲害不在于它可以方便的編寫一個(gè)爬蟲，而是它的模塊定制功能，你可以根據(jù)實(shí)際的產(chǎn)品需求，通過調(diào)整中間件或者調(diào)度器方便的實(shí)現(xiàn)你想要的功能。

但是有時(shí)候偶爾會(huì)出現(xiàn)一些反爬特別厲害的網(wǎng)站，這個(gè)時(shí)候就需要對其進(jìn)行單獨(dú)的研究了。另外，我以為手機(jī)端抓取其實(shí)是一個(gè)很關(guān)鍵的手段，現(xiàn)在的手機(jī)性能強(qiáng)大，能做的事情實(shí)在是太多了，只是大多數(shù)時(shí)候被人忽略了。個(gè)人以為這可能會(huì)變成今后一個(gè)主流的抓取手段。今后我也會(huì)開始學(xué)習(xí)這方面的知識。