beautifulsoup與scrapy 這兩者之間有什麼區別?


bs可以離線解釋html文件,但是獲取html文件是由用戶的其他行為的定義的,比如urllib或者request

而scrapy是一個完整的獲取程序,只需要把網址貼上去,就會自動去爬。 省去很多用戶需要關注的細節。


輪子和車子的區別。
前者要依附於一個程序,後者自己就能跑。


前者是html/xml解析用的
後者是一個爬蟲框架


如果真要寫爬蟲,個人傾向於beautifulsoup,這個模塊可以很靈活到運用在各種框架中.
而scrapy由於他本身到完成,反而局限性受到了很大到抑制


推薦閱讀:

selenium 怎樣設置請求頭?
網頁上的一張圖片右鍵選擇新窗口打開是正常的,直接複製地址到地址欄打開就不正常了。誰知道是什麼原因嗎?
Python 爬蟲調用 requests 如何設置代理(GoAgent/GoAgentX)?
分散式雲爬蟲,未來的主流採集方式?
如何爬取搜索引擎下某個關鍵字對應的所有網站?

TAG:Python | 爬蟲計算機網路 | 網頁爬蟲 |