Urllib之Cookie的使用和Proxy（代理）設置

02-05

一、為什麼要使用Cookie呢？

Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密）。比如說有些網站需要登錄後才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那麼我們可以利用Urllib2庫保存我們登錄的Cookie，然後再抓取其他頁面就達到目的了。

在此之前，我們先介紹一個opener的概念。

1.Opener

當你獲取一個URL你使用一個opene，我們默認的opener也就是urlopen，它是一個特殊的opener，傳入的參數僅僅是url、data、timeout。如果我們需要用到Cookie，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie的設置。

2.Cookielib

cookielib模塊的主要作用是提供可存儲cookie的對象，以便於與urllib2模塊配合使用來訪問Internet資源。Cookielib模塊非常強大，我們可以利用本模塊的CookieJar類的對象來捕獲cookie並在後續連接請求時重新發送，比如可以實現模擬登錄功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關係：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

（1）獲取Cookie保存到變數

首先，我們先利用CookieJar對象實現獲取cookie的功能，存儲到變數中：

import urllib2nimport cookielibn#聲明一個CookieJar對象實例來保存cookiencookie = cookielib.CookieJar()n#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器nhandler=urllib2.HTTPCookieProcessor(cookie)n#通過handler來構建openernopener = urllib2.build_opener(handler)n#此處的open方法同urllib2的urlopen方法，也可以傳入requestnresponse = opener.open(http://www.baidu.com)nfor item in cookie:n print Name = +item.namen print Value = +item.valuen

我們使用以上方法將cookie保存到變數中，然後列印出了cookie中的值，運行結果如下：

（2）保存Cookie到文件

這時，我們就要用到FileCookieJar這個對象了，在這裡我們使用它的子類MozillaCookieJar來實現Cookie的保存

import cookielibnimport urllib2nn#設置保存cookie的文件，同級目錄下的cookie.txtnfilename=cookie.txtn#聲明一個MozillaCookieJar對象實例來保存cookie，之後寫入文件ncookie=cookielib.MozillaCookieJar(filename)n#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器nhandler=urllib2.HTTPCookieProcessor(cookie)n#通過handler來創建openernoperner=urllib2.build_opener(handler)n#創建一個請求，原理同urllib2的urlopennresponse=opener.open("http://www.baidu.com")n#保存cookie到文件ncookie.save(ignore_discard=True,ignore_expires=True)n

ignore_discard: save even cookies set to be discarded.

ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

由此可見，ignore_discard的意思是即使cookies將被丟棄也將它保存下來，ignore_expires的意思是如果在該文件中cookies已經存在，則覆蓋原文件寫入，在這裡，我們將這兩個全部設置為True。運行之後，cookies將被保存到cookie.txt文件中，我們查看一下內容，附圖如下:

(3)從文件中獲取Cookie並訪問：

現在已經把Cookie保存到文件中了，如果以後想使用，可以利用下面的方法來讀取cookie並訪問網站：

import cookielibnimport urllib2n#創建MozillaCookieJar實例對象ncookie=cookielib.MozillaCookieJar()n#從文件中讀取cookie內容到變數ncookie.load(cookie.txt,ignore_discard=True,ignore_expires=True)n#創建請求的requestnreq=urllib2.Request("http://www.baidu.com")n#利用urllib2的build_opener方法創建一個openernopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))nresponse=opener.open(req)nprint response.read()n

如果我們的 cookie.txt 文件中保存的是某個人登錄百度的cookie，那麼我們提取出這個cookie文件內容，就可以用以上方法模擬這個人的賬號登錄百度

(4)利用cookie模擬網站登錄

下面我們以我們學校的教育系統為例，利用cookie實現模擬登錄，並將cookie信息保存到文本文件中:

import urllibnimport urllib2nimport cookielibnnfilename=cookie.txtn#聲明一個MozillaCookieJar對象實例來保存cookie，之後寫入文件ncookie=cookielib.MozillaCookieJar(filename)nopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))npostdata=urllib.urlencode({n stuid:2012323245,n pwd:23342321n })n#登錄教務系統的urlnloginUrl="http://******"n#模擬登陸，並把cookie保存到變數nresult=opener.open(loginUrl,postdata)n#保存cookie到cookie.txt中ncookie.save(ignore_discard=True,ignore_expires=True)n#利用cookie請求訪問另一個網址，此網址是成績查詢網址ngradeUrl=http://*********n#請求訪問成績查詢網址nresult=opener.open(gradeUrl)nprint result.read()n

以上程序的原理如下:

創建一個帶有cookie的opener，在訪問登錄的URL時，將登錄後的cookie保存下來，然後利用這個cookie來訪問其他網址。

如登錄之後才能查看的成績查詢呀，本學期課表呀等等網址，模擬登錄就這麼實現啦

二、Proxy（代理）的設置

urllib2 默認會使用環境變數 http_proxy 來設置 HTTP Proxy。假如一個網站它會檢測某一段時間某個IP 的訪問次數，如果訪問次數過多，它會禁止你的訪問。所以你可以設置一些代理伺服器來幫助你做工作，每隔一段時間換一個代理，網站君都不知道是誰在搗鬼了。下面一段代碼說明了代理的設置用法：

import urllib2nenable_proxy=Truenproxy_handler=urllib2.ProxyHandler({"http":http://some-proxy.com:8080})nnull_proxy_handler=urllib2.ProxyHandler({})nif enable_proxy:n opener=urllib2.build_opener(proxy_handler)nelse:n opener=urllib2.build_opener(null_proxy_handler)nurllib2.install_opener(opener)n