1.4從零開始學Scrapy爬蟲之第一個爬蟲

在cmd中輸入：

$ workon article_spider(已經安裝好Scrapy庫，假如此時的文件路徑是：E://study_spider文件夾，是在這個文件夾中workon 到虛擬環境的)

$ scrapy start project Article_spider（此時項目的路徑就是：E://study_spider//Article_spider）

$ 在Pycharm中直接打開該新建的項目： Article_spider。pipelines.py做數據存儲相關；Items跟django的forms類似，定義數據保存的格式；spiders存放具體某個網站的爬蟲。另外就是要把虛擬環境導入進來：file>setting>interpreter，選擇虛擬環境(scripts/pyhton.exe)

$ cd XXX 項目文件夾XXX裡面（即就是scrapy start project XXX）

$ scrapy genspider baidu http://baidu.com #注意這裡不能寫http://前綴，因為scrapy項目會自動在start_urls 添加前綴http://

$ 在cmd中啟動一個spider的方法是：scrapy crawl jobbole,但是注意的是在win下直接啟動命令會報錯，此時需要安裝pypiwin32 包

$ pip install -i https://pypi.douban.com/simple pypiwin32

$ 此時我們就可以運行scarapy crawl jobbole

# 熟悉xpath語法n

# 可以在當前環境下，調用scrapy shell netaddress 來調試網頁n$ (ArticleTest) E:linuxShareArticleSpider>scrapy shell http://www.jobbole.com/n$ 返回當前網頁的響應值responsen$ response.xpath("xpath") 來選擇對應的元素n

# 實例：我們如何去篩選一個收藏數：n$ response.xpath("//span[contains(@class,bookmark-btn)]/text()").extract()[0]n

推薦閱讀：