Scrapy容易忽略嚴重錯誤,start_url 必須是列表

Scrapy容易忽略嚴重錯誤,start_url 必須是列表

來自專欄 python學習

今天下午本來興緻滿滿來一波scrapy操作的,沒想到還沒有開始真正開始動作,一個錯誤就飈過來,細緻檢查了幾遍沒看出任何問題來,反而被帶入來版本的問題,群魔亂舞

import scrapyclass Test(scrapy.Spider): name = BD allowed_domains = [baidu.com] start_urls = https://www.baidu.com/ def parse(self, response): pass

後來終於找到了原因,有什麼區別嗎?嘿嘿

import scrapyclass Test(scrapy.Spider): name = BD allowed_domains = [baidu.com] start_urls = [https://www.baidu.com/] def parse(self, response): pass

start_urls 必須是列表,不然無法訪問!!!

搞了大半天終於把這個小問題給解決了,不容易啊,一個坑又填滿了。

推薦閱讀:

TAG:爬蟲計算機網路 | URL | scrapy |