通過修改User-Agent標識將PhantomJS偽裝成Chrome瀏覽器

首發個人博客：http://zmister.com/archives/179.html

在寫爬蟲的過程中，出於系統環境或是效率的問題，我們經常使用PhantomJS作為Selenium操縱的瀏覽器webdriver，而不是直接使用Chrome或FireFox的webdriver，儘管後者更加直觀。

PhantomJS的優點雖然很多，但是缺點卻也不少，有一個不能稱之為缺點的缺點就是，PhantomJS的瀏覽器標識是「PhantomJS」（勇敢的做自己竟然有錯……：））

PhantomJS的標識本沒有什麼問題，但是在現在越來越多的網站不斷升級自己的反爬蟲技術的情況下，PhantomJS顯然成為了一個和「requests」一樣的靶子。

只要伺服器後台識別到訪問者的User-Agent為PhantomJS，就有可能被伺服器判定為爬蟲行為，而導致爬蟲失效。

如同在requests中修改header頭域以偽裝成瀏覽器一樣，我們可以在Selenium中將PhantomJS的瀏覽器標識修改為任意瀏覽器的標識。下面介紹一下：

PhantomJS的瀏覽器標識

首先來看看PhantomJS的瀏覽器標識是怎樣的。

http://service.spiritsoft.cn/ua.html是一個獲取瀏覽器標識User-Agent的網站，訪問它就會顯示當前使用的瀏覽器的標識：

我們使用Selunium操縱PhantomJS訪問http://service.spiritsoft.cn/ua.html，看看返回的結果：

# coding:utf-8nnfrom selenium import webdrivernfrom bs4 import BeautifulSoupnndef defaultPhantomJS():n driver = webdriver.PhantomJS(executable_path=r"D:phantomjs.exe")n driver.get(http://service.spiritsoft.cn/ua.html)n source = driver.page_sourcen soup = BeautifulSoup(source,lxml)n user_agent = soup.find_all(td,attrs={style:height:40px;text-align:center;font-size:16px;font-weight:bolder;color:red;})n for u in user_agent:n print(u.get_text().replace(n,).replace( ,))n driver.close()n

很明顯的有PhantomJS的痕迹。

接下來，我們對PhantomJS的瀏覽器標識進行修改。

偽裝成Chrome

引入一個關鍵的模塊——DesiredCapabilities：

from selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesn

這個模塊是幹什麼用的呢？我們看看源碼的解釋：

class DesiredCapabilities(object):n """n Set of default supported desired capabilities.nn Use this as a starting point for creating a desired capabilities object forn requesting remote webdrivers for connecting to selenium server or selenium grid.n

描述了一系列封裝的瀏覽器屬性的鍵值對，大致就是用來設置webdriverde的屬性。我們使用它來設置PhantomJS的User-Agent。

首先將DesiredCapabilities轉換為一個字典，方便添加鍵值對

dcap = dict(DesiredCapabilities.PHANTOMJS)n

然後添加一個瀏覽器標識的鍵值對：

dcap[phantomjs.page.settings.userAgent] = (Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36)n

最後，在實例化PhantomJS中設為參數：

driver = webdriver.PhantomJS(executable_path=r"D:phantomjs.exe",desired_capabilities=dcap,service_args=[--ignore-ssl-errors=true])n

完整的代碼如下：

# coding:utf-8nnfrom selenium import webdrivernfrom bs4 import BeautifulSoupnfrom selenium.webdriver.common.desired_capabilities import DesiredCapabilitiesnndef editUserAgent():n dcap = dict(DesiredCapabilities.PHANTOMJS)n dcap[phantomjs.page.settings.userAgent] = (Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36)n driver = webdriver.PhantomJS(executable_path=r"D:phantomjs.exe",desired_capabilities=dcap,service_args=[--ignore-ssl-errors=true])n driver.get(http://service.spiritsoft.cn/ua.html)n source = driver.page_sourcen soup = BeautifulSoup(source, lxml)n user_agent = soup.find_all(td, attrs={n style: height:40px;text-align:center;font-size:16px;font-weight:bolder;color:red;})n for u in user_agent:n print(u.get_text().replace(n, ).replace( , ))n driver.close()nnif __name__ == __main__:n editUserAgent()n

我們運行一下代碼：

成功地將PhantomJS標識為了Chrome瀏覽器。

是不是很簡單？