beautifulsoup與scrapy 這兩者之間有什麼區別?
12-28
bs可以離線解釋html文件,但是獲取html文件是由用戶的其他行為的定義的,比如urllib或者request
而scrapy是一個完整的獲取程序,只需要把網址貼上去,就會自動去爬。 省去很多用戶需要關注的細節。輪子和車子的區別。
前者要依附於一個程序,後者自己就能跑。
前者是html/xml解析用的
後者是一個爬蟲框架
如果真要寫爬蟲,個人傾向於beautifulsoup,這個模塊可以很靈活到運用在各種框架中.
而scrapy由於他本身到完成,反而局限性受到了很大到抑制
推薦閱讀:
※selenium 怎樣設置請求頭?
※網頁上的一張圖片右鍵選擇新窗口打開是正常的,直接複製地址到地址欄打開就不正常了。誰知道是什麼原因嗎?
※Python 爬蟲調用 requests 如何設置代理(GoAgent/GoAgentX)?
※分散式雲爬蟲,未來的主流採集方式?
※如何爬取搜索引擎下某個關鍵字對應的所有網站?