網(wǎng)絡中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。建立搜索引擎就是解決這個問題的最好方法。
本文首先詳細介紹了基于英特網(wǎng)的搜索引擎的系統(tǒng)結構，然后具體闡述了如何設計并實現(xiàn)搜索引擎的搜索器——網(wǎng)絡爬蟲。
多線程網(wǎng)絡爬蟲程序是從指定的Web頁面中按照寬度優(yōu)先算法進行解析、搜索，并把搜索到的每條URL進行抓取、保存并且以URL為新的入口在互聯(lián)網(wǎng)上進行不斷的爬行的自動執(zhí)行后臺程序。
網(wǎng)絡爬蟲主要應用socket套接字技術、正則表達式、HTTP協(xié)議、windows網(wǎng)絡編程技術等相關技術，以C++語言作為實現(xiàn)語言，并在VC6.0下調試通過。
在網(wǎng)絡爬蟲的設計與實現(xiàn)的章節(jié)中除了詳細的闡述技術核心外還結合了多線程網(wǎng)絡爬蟲的實現(xiàn)代碼來說明，易于理解。本網(wǎng)絡爬蟲是一個能夠在后臺運行的以配置文件來作為初始URL，以寬度優(yōu)先算法向下爬行，保存目標URL的網(wǎng)絡程序，能夠執(zhí)行普通用戶網(wǎng)絡搜索任務。