初級(jí)爬蟲(chóng)工程師：

Web前端的知識(shí)：HTML， CSS， JavaScript， DOM， DHTML， Ajax， jQuery，json等；

正則表達(dá)式，能提取正常一般網(wǎng)頁(yè)中想要的信息，比如某些特殊的文字，鏈接信息，知道什么是懶惰，什么是貪婪型的正則；

會(huì)使用re， BeautifulSoup，XPath等獲取一些DOM結(jié)構(gòu)中的節(jié)點(diǎn)信息；

知道什么是深度優(yōu)先，廣度優(yōu)先的抓取算法，及實(shí)踐中的使用規(guī)則；

能分析簡(jiǎn)單網(wǎng)站的結(jié)構(gòu)，會(huì)使用urllib，urllib2或requests庫(kù)進(jìn)行簡(jiǎn)單的數(shù)據(jù)抓??；

中級(jí)爬蟲(chóng)工程師：

了解什么是Hash，會(huì)使用簡(jiǎn)單的MD5，SHA1等算法對(duì)數(shù)據(jù)進(jìn)行Hash以便存儲(chǔ)；

熟悉HTTP，HTTPS協(xié)議的基礎(chǔ)知識(shí)，了解GET，POST方法，了解HTTP頭中的信息，包括返回狀態(tài)碼，編碼，user-agent，cookie，session等；

能設(shè)置User-Agent進(jìn)行數(shù)據(jù)爬取，設(shè)置代理等；

知道什么是Request，什么是Response，會(huì)使用Fiddle， Wireshark等工具抓取及分析簡(jiǎn)單的網(wǎng)絡(luò)數(shù)據(jù)包；對(duì)于動(dòng)態(tài)爬蟲(chóng)，要學(xué)會(huì)分析Ajax請(qǐng)求，模擬制造Post數(shù)據(jù)包請(qǐng)求，抓取客戶(hù)端session等信息，對(duì)于一些簡(jiǎn)單的網(wǎng)站，能夠通過(guò)模擬數(shù)據(jù)包進(jìn)行自動(dòng)登錄；

對(duì)于比較難搞定的網(wǎng)站，學(xué)會(huì)使用瀏覽器+selenium抓取一些動(dòng)態(tài)網(wǎng)頁(yè)信息；

并發(fā)下載，通過(guò)并行下載加速數(shù)據(jù)抓?。欢嗑€程的使用；

高級(jí)爬蟲(chóng)工程師：

能使用Tesseract，百度AI，HOG+SVM，CNN等庫(kù)進(jìn)行驗(yàn)證碼識(shí)別；

能使用數(shù)據(jù)挖掘的技術(shù)，分類(lèi)算法等避免死鏈等；

會(huì)使用常用的數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)，查詢(xún)，如Mongodb，Redis（大數(shù)據(jù)量的緩存）等；下載緩存，學(xué)習(xí)如何通過(guò)緩存避免重復(fù)下載的問(wèn)題；Bloom Filter的使用；

能使用機(jī)器學(xué)習(xí)的技術(shù)動(dòng)態(tài)調(diào)整爬蟲(chóng)的爬取策略，從而避免被禁IP封號(hào)等；

能使用一些開(kāi)源框架Scrapy，Celery等分布式爬蟲(chóng)，能部署掌控分布式爬蟲(chóng)進(jìn)行大規(guī)模的數(shù)據(jù)抓?。?/p>