如何在eclipse中使用scrapy?

想要利用scrapy爬取新聞數據，使用scrapy必須安裝的twisted,openssl,lxml,w3lib等模塊都已經成功安裝了，但是不知道應該怎麼在eclipse中使用scrapy（看到指南說是「新建一個工程「所以我是應該像在eclipse中新建普通python工程一樣開始嗎）還請了解的朋友前輩幫幫忙

---

雖然已經是四個月前的問題了，也不知道題主解決了沒有，不過看到了我還是回答一下，畢竟市面上關於eclipse + pydev開發 Scrapy的內容還是很少的。以下內容摘自我自己的CSDN博客

一、創建項目

如果安裝了最新的pydev，創建一個新項目會有三個選項，這裡直接選擇一個普通的python項目即可，此時查看項目目錄，目錄項只有兩個工程文件。

此時，需要使用scrapy命令創建一個scrapy項目到這個目錄下，當然也可以把一個現有的工程拷貝到這裡。

我這裡使用一個之前創建過的scrapy項目複製到這個eclipse創建的工程目錄。

此時如果運行這個項目會報錯如圖：

二、配置Debug Configurations

1、進入run——&>Debug Configurations-——&>Main

name中輸入這個配置的名稱；

Projecct選擇你的Scrapy項目

Main Module 中填入scrapy庫下的cmdline.py文件

2、進入run——&>Debug Configurations-——&>Arguments

在Program arguments中輸入 crawl example，需要注意這個example是你的爬蟲的名稱

這個名字並不是你的項目名稱，而是在你所寫的類似於xxxSpider()類中的name的值。

在Working directory中選擇other 選擇你的爬蟲工作目錄

如圖：

配置完成，點擊Debug按鈕，如果能正常顯示類似於下面的信息則說明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished)

2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats:

唯一麻煩一點的就是每次debug都需要通過run進行，而不能使用滑鼠右鍵運行。

至此eclipse + pydev開發環境debug Scrapy就全部完成了。

附：我的工程目錄結構

---

hbuilder 和這個一樣哈~~~~

---

推薦閱讀：