眾所周知，隨著計算機、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等網(wǎng)絡技術的風起云涌，網(wǎng)絡上的信息呈爆炸式增長。毋庸置疑，互聯(lián)網(wǎng)上的信息幾乎囊括了社會、文化、政治、經(jīng)濟、娛樂等所有話題。使用傳統(tǒng)數(shù)據(jù)收集機制（如問卷調(diào)查法、訪談法）進行捕獲和采集數(shù)據(jù)，往往會受經(jīng)費和地域范圍所限，而且還會因其樣本容量小、信度低等因素導致收集的數(shù)據(jù)往往與客觀事實有所偏頗，有著較大的局限性。

網(wǎng)絡爬蟲通過統(tǒng)一資源定位符URL （Uniform ResourceLocator）來查找目標網(wǎng)頁，將用戶所關注的數(shù)據(jù)內(nèi)容直接返回給用戶，并不需要用戶以瀏覽網(wǎng)頁的形式去獲取信息，為用戶節(jié)省了時間和精力，并提高了數(shù)據(jù)采集的準確度，使用戶在海量數(shù)據(jù)中游刃有余。網(wǎng)絡爬蟲的最終目的就是從網(wǎng)頁中獲取自己所需的信息。雖然利用urllib、urllib2、re等一些爬蟲基本庫可以開發(fā)一個爬蟲程序，獲取到所需的內(nèi)容，但是所有的爬蟲程序都以這種方式進行編寫，工作量未免太大了些，所有才有了爬蟲框架。使用爬蟲框架可以大大提高效率，縮短開發(fā)時間。

網(wǎng)絡爬蟲（web crawler）又稱為網(wǎng)絡蜘蛛（web spider）或網(wǎng)絡機器人（web robot），另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或蠕蟲，同時它也是“物聯(lián)網(wǎng)”概念的核心之一。網(wǎng)絡爬蟲本質(zhì)上是一段計算機程序或腳本，其按照一定的邏輯和算法規(guī)則自動地抓取和下載萬維網(wǎng)的網(wǎng)頁，是搜索引擎的一個重要組成部分。

網(wǎng)絡爬蟲一般是根據(jù)預先設定的一個或若干個初始網(wǎng)頁的URL開始，然后按照一定的規(guī)則爬取網(wǎng)頁，獲取初始網(wǎng)頁上的URL列表，之后每當抓取一個網(wǎng)頁時，爬蟲會提取該網(wǎng)頁新的URL并放入到未爬取的隊列中去，然后循環(huán)的從未爬取的隊列中取出一個URL再次進行新一輪的爬取，不斷的重復上述過程，直到隊列中的URL抓取完畢或者達到其他的既定條件，爬蟲才會結束。具體流程如下圖所示。

隨著互聯(lián)網(wǎng)信息的與日俱增，利用網(wǎng)絡爬蟲工具來獲取所需信息必有用武之地。使用網(wǎng)絡爬蟲來采集信息，不僅可以實現(xiàn)對web上信息的高效、準確、自動的獲取，還利于公司或者研究人員等對采集到的數(shù)據(jù)進行后續(xù)的挖掘分析。