Python網頁信息採集：使用PhantomJS採集某貓寶商品內容

01-31

1，引言

最近一直在看Scrapy 爬蟲框架，並嘗試使用Scrapy框架寫一個可以實現網頁信息採集的簡單的小程序。嘗試過程中遇到了很多小問題，希望大家多多指教。

本文主要介紹如何使用Scrapy結合PhantomJS採集天貓商品內容，文中自定義了一個DOWNLOADER_MIDDLEWARES，用來採集需要載入js的動態網頁內容。看了很多介紹DOWNLOADER_MIDDLEWARES資料，總結來說就是使用簡單，但會阻塞框架，所以性能方面不佳。一些資料中提到了自定義DOWNLOADER_HANDLER或使用scrapyjs可以解決阻塞框架的問題，有興趣的小夥伴可以去研究一下，這裡就不多說了。

2，具體實現

2.1，環境需求

需要執行以下步驟，準備Python開發和運行環境：

Python--官網下載安裝並部署好環境變數（本文使用Python版本為3.5.1）
lxml-- 官網庫下載對應版本的.whl文件，然後命令行界面執行 "pip install .whl文件路徑"
Scrapy--命令行界面執行 "pip install Scrapy"，詳細請參考《Scrapy的第一次運行測試》
selenium--命令行界面執行 "pip install selenium"
PhantomJS -- 官網下載

上述步驟展示了兩種安裝：1，安裝下載到本地的wheel包；2，用Python安裝管理器執行遠程下載和安裝。註：包的版本需要和python版本配套

2.2，開發和測試過程

首先找到需要採集的網頁，這裡簡單找了一個天貓商品，網址https://world.tmall.com/item/526449276263.htm，頁面如下：

然後開始編寫代碼，以下代碼默認都是在命令行界面執行

1)，創建scrapy爬蟲項目tmSpider

E:python-3.5.1>scrapy startproject tmSpidern

2)，修改settings.py配置

更改ROBOTSTXT_OBEY的值為False；
關閉scrapy默認的下載器中間件；
加入自定義DOWNLOADER_MIDDLEWARES。

配置如下：

DOWNLOADER_MIDDLEWARES = {n tmSpider.middlewares.middleware.CustomMiddlewares: 543,n scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware: Nonen}n

3)，在項目目錄下創建middlewares文件夾,然後在文件夾下創建middleware.py文件，代碼如下：

# -*- coding: utf-8 -*-nnfrom scrapy.exceptions import IgnoreRequestnfrom scrapy.http import HtmlResponse, Responsennimport tmSpider.middlewares.downloader as downloadernnclass CustomMiddlewares(object):n def process_request(self, request, spider):n url = str(request.url)n dl = downloader.CustomDownloader()n content = dl.VisitPersonPage(url)n return HtmlResponse(url, status = 200, body = content)n n def process_response(self, request, response, spider):n if len(response.body) == 100:n return IgnoreRequest("body length == 100")n else:n return responsen

4)，使用selenium和PhantomJS寫一個網頁內容下載器，同樣在上一步創建好的middlewares文件夾中創建downloader.py文件，代碼如下：

# -*- coding: utf-8 -*-nimport timenfrom scrapy.exceptions import IgnoreRequestnfrom scrapy.http import HtmlResponse, Responsenfrom selenium import webdrivernimport selenium.webdriver.support.ui as ui nnclass CustomDownloader(object):n def __init__(self):n # use any browser you wishn cap = webdriver.DesiredCapabilities.PHANTOMJSn cap["phantomjs.page.settings.resourceTimeout"] = 1000n cap["phantomjs.page.settings.loadImages"] = Truen cap["phantomjs.page.settings.disk-cache"] = Truen cap["phantomjs.page.customHeaders.Cookie"] = SINAGLOBAL=3955422793326.2764.1451802953297; n self.driver = webdriver.PhantomJS(executable_path=F:/phantomjs/bin/phantomjs.exe, desired_capabilities=cap)n wait = ui.WebDriverWait(self.driver,10)n n def VisitPersonPage(self, url):n print(正在載入網站.....)n self.driver.get(url)n time.sleep(1)n # 翻到底，詳情載入n js="var q=document.documentElement.scrollTop=10000"n self.driver.execute_script(js)n time.sleep(5)n content = self.driver.page_source.encode(gbk, ignore)n print(網頁載入完畢.....)n return contentnn def __del__(self):n self.driver.quit()n

5) 創建爬蟲模塊

在項目目錄E:python-3.5.1tmSpider，執行如下代碼：

E:python-3.5.1tmSpider>scrapy genspider tmall tmall.comn

執行後，項目目錄E:python-3.5.1tmSpidertmSpiderspiders下會自動生成tmall.py程序文件。該程序中parse函數處理scrapy下載器返回的網頁內容，採集網頁信息的方法可以是：

使用xpath或正則方式從response.body中採集所需欄位，
通過gooseeker api獲取的內容提取器實現一站轉換所有欄位，而且不用手工編寫轉換用的xpath（如何獲取內容提取器請參考python使用xslt提取網頁數據）,代碼如下：

# -*- coding: utf-8 -*-nimport timenimport scrapynnimport tmSpider.gooseeker.gsextractor as gsextractornnclass TmallSpider(scrapy.Spider):n name = "tmall"n allowed_domains = ["tmall.com"]n start_urls = (n https://world.tmall.com/item/526449276263.htm,n )n n # 獲得當前時間戳n def getTime(self):n current_time = str(time.time())n m = current_time.find(.)n current_time = current_time[0:m]n return current_timenn def parse(self, response):n html = response.bodyn print("----------------------------------------------------------------------------")n extra=gsextractor.GsExtractor()n extra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e", "淘寶天貓_商品詳情30474","tmall","list")nn result = extra.extract(html)n print(str(result).encode(gbk, ignore).decode(gbk))n #file_name = F:/temp/淘寶天貓_商品詳情30474_ + self.getTime() + .xmln #open(file_name,"wb").write(result)n

6)，啟動爬蟲

在E:python-3.5.1tmSpider項目目錄下執行命令

E:python-3.5.1simpleSpider>scrapy crawl tmalln

輸出結果:

提一下，上述命令只能一次啟動一個爬蟲，如果想同時啟動多個呢？那就需要自定義一個爬蟲啟動模塊了，在spiders下創建模塊文件runcrawl.py，代碼如下

# -*- coding: utf-8 -*-nnimport scrapynfrom twisted.internet import reactornfrom scrapy.crawler import CrawlerRunnernnfrom tmall import TmallSpidern...nspider = TmallSpider(domain=tmall.com)nrunner = CrawlerRunner()nrunner.crawl(spider)n...nd = runner.join()nd.addBoth(lambda _: reactor.stop())nreactor.run()n

執行runcrawl.py文件，輸出結果：

3，展望

以自定義DOWNLOADER_MIDDLEWARES調用PhantomJs的方式實現爬蟲後，在阻塞框架的問題上糾結了很長的時間，一直在想解決的方式。後續會研究一下scrapyjs，splash等其他調用瀏覽器的方式看是否能有效的解決這個問題。

4，相關文檔

1， Python即時網路爬蟲：API說明

5，集搜客GooSeeker開源代碼下載源

1， GooSeeker開源Python網路爬蟲GitHub源

6，文檔修改歷史

1，2016-06-30：V1.0