Scrapy是Python開發(fā)的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy吸引人的地方在于它是一個框架，任何人都可以根據(jù)需求方便的修改。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試。

1、關(guān)于虛擬環(huán)境的創(chuàng)建可以參考之前發(fā)布的兩篇博文，在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認(rèn)情況下）。下面在指定的文件夾下，直接先創(chuàng)建環(huán)境，在命令行輸入環(huán)境創(chuàng)建命令“virtualenv －－python＝C：Python34python．exe scrapy＿demo”，指定Python的版本和路徑，以及虛擬環(huán)境的名字scrapy＿demo，其中虛擬環(huán)境可以自己進(jìn)行修改，這里命名為scrapy＿demo。

2、爾后進(jìn)入到scrapy＿demo文件夾下，找到Scripts文件夾，輸入activate．bat以激活虛擬環(huán)境，步驟如下圖所示。之后可以看到scrapy＿demo被括號括起來了，說明進(jìn)入了環(huán)境，在命令行中輸入python，可以看到直接彈出Python3的環(huán)境。

3、新建完虛擬環(huán)境之后，接下來就開始安裝Scrapy，輸入安裝命令“pip install Scrapy”或者“pip install －i https：／／pypi．douban．com／simple／ Scrapy”，后面這個命令是通過豆瓣源鏡像進(jìn)行下載，速度會快很多，而且較為穩(wěn)定，建議使用該方法進(jìn)行安裝，Python中的其他庫也建議用該命令進(jìn)行安裝，十分的方便快捷。輸入命令之后，等待Scrapy的安裝，如下圖所示。

4、可以看到Scrapy的安裝速度非?？?，因為我們使用了鏡像進(jìn)行下載。不過稍等片刻之后可能會碰到timeout的問題，這是由于Scrapy安裝的過程中需要很多依賴包，導(dǎo)致下載過程中會遇到網(wǎng)絡(luò)延時的問題，此時只需要重新輸入安裝命令進(jìn)行安裝即可。除了timeout的問題之外，可能還會碰到下圖這個問題。

5、這個問題的出現(xiàn)是因為缺乏Twisted依賴包，此時通過“pip install twisted”可能有問題，在Python包網(wǎng)站，里邊的Python包專門用于Windows下的安裝的。在網(wǎng)頁中找到Twisted安裝包，然后選擇本機(jī)Python對應(yīng)版本和電腦系統(tǒng)位數(shù)的安裝包，小編的電腦是64位的，而且Python版本是Python3．4，所以下載的包如下圖紅色框框所示。