Python 爬蟲之模擬知乎登錄
經常寫爬蟲的都知道,有些頁面在登錄之前是被禁止抓取的,比如知乎的話題頁面就要求用戶登錄才能訪問,而 「登錄」 離不開 HTTP 中的 Cookie 技術。
登錄原理
Cookie 的原理非常簡單,因為 HTTP 是一種無狀態的協議,因此為了在無狀態的 HTTP 協議之上維護會話(session)狀態,讓伺服器知道當前是和哪個客戶在打交道,Cookie 技術出現了 ,Cookie 相當於是服務端分配給客戶端的一個標識。
- 瀏覽器第一次發起 HTTP 請求時,沒有攜帶任何 Cookie 信息
- 伺服器把 HTTP 響應,同時還有一個 Cookie 信息,一起返回給瀏覽器
- 瀏覽器第二次請求就把伺服器返回的 Cookie 信息一起發送給伺服器
- 伺服器收到HTTP請求,發現請求頭中有Cookie欄位, 便知道之前就和這個用戶打過交道了。
實戰應用
用過知乎的都知道,只要提供用戶名和密碼以及驗證碼之後即可登錄。當然,這只是我們眼中看到的現象。而背後隱藏的技術細節就需要藉助瀏覽器來挖掘了。現在我們就用 Chrome 來查看當我們填完表單後,究竟發生了什麼?
(如果已經登錄的,先退出)首先進入知乎的登錄頁面 https://www.zhihu.com/#signin ,打開 Chrome 的開發者工具條(按 F12)先嘗試輸入一個錯誤的驗證碼觀察瀏覽器是如何發送請求的。
從瀏覽器的請求可以發現幾個關鍵的信息
- 登錄的 URL 地址是 https://www.zhihu.com/login/email
- 登錄需要提供的表單數據有4個:用戶名(email)、密碼(password)、驗證碼(captcha)、_xsrf。
- 獲取驗證碼的URL地址是 https://www.zhihu.com/captcha.gif?r=1490690391695&type=login
_xsrf 是什麼?如果你對CSRF(跨站請求偽造)攻擊非常熟悉的話,那麼你一定知道它的作用,xsrf是一串偽隨機數,它是用於防止跨站請求偽造的。它一般存在網頁的 form 表單標籤中,為了證實這一點,可以在頁面上搜索 「xsrf」,果然,_xsrf在一個隱藏的 input 標籤中
摸清了瀏覽器登錄時所需要的數據是如何獲取之後,那麼現在就可以開始寫代碼用 Python 模擬瀏覽器來登錄了。登錄時所依賴的兩個第三方庫是 requests 和 BeautifulSoup,先安裝
pip install beautifulsoup4==4.5.3pip install requests==2.13.0
http.cookiejar 模塊可用於自動處理HTTP Cookie,LWPCookieJar 對象就是對 cookies 的封裝,它支持把 cookies 保存到文件以及從文件中載入。
而 session 對象 提供了 Cookie 的持久化,連接池功能,可以通過 session 對象發送請求
首先從cookies.txt 文件中載入 cookie信息,因為首次運行還沒有cookie,所有會出現 LoadError 異常。
from http import cookiejarsession = requests.session()session.cookies = cookiejar.LWPCookieJar(filename="cookies.txt")try: session.cookies.load(ignore_discard=True)except LoadError: print("load cookies failed")
獲取 xsrf
前面已經找到了 xsrf 所在的標籤,,利用 BeatifulSoup 的 find 方法可以非常便捷的獲取該值
def get_xsrf(): response = session.get("https://www.zhihu.com", headers=headers) soup = BeautifulSoup(response.content, "html.parser") xsrf = soup.find("input", attrs={"name": "_xsrf"}).get("value") return xsrf
獲取驗證碼
驗證碼是通過 /captcha.gif 介面返回的,這裡我們把驗證碼圖片下載保存到當前目錄,由人工識別,當然你可以用第三方支持庫來自動識別,比如 pytesser。
def get_captcha(): """ 把驗證碼圖片保存到當前目錄,手動識別驗證碼 :return: """ t = str(int(time.time() * 1000)) captcha_url = "https://www.zhihu.com/captcha.gif?r=" + t + "&type=login" r = session.get(captcha_url, headers=headers) with open("captcha.jpg", "wb") as f: f.write(r.content) captcha = input("驗證碼:") return captcha
登錄
一切參數準備就緒之後,就可以請求登錄介面了。
def login(email, password): login_url = "https://www.zhihu.com/login/email" data = { "email": email, "password": password, "_xsrf": get_xsrf(), "captcha": get_captcha(), "remember_me": "true"} response = session.post(login_url, data=data, headers=headers) login_code = response.json() print(login_code["msg"]) for i in session.cookies: print(i) session.cookies.save()
請求成功後,session 會自動把 服務端的返回的cookie 信息填充到 session.cookies 對象中,下次請求時,客戶端就可以自動攜帶這些cookie去訪問那些需要登錄的頁面了。
源碼:https://github.com/lzjun567/crawler_html2pdf/blob/master/zhihu/auto_login.py
參考資料:
- 關於 HTTP 協議的簡單介紹,推薦公眾號「Python之禪」中寫的一篇文章一次完整的HTTP請求過程
- https://docs.python.org/3/library/http.cookies.html
- http://docs.python-requests.org/en/master/user/advanced/#session-objects
推薦閱讀:
※如何學好編程
※利用Scrapy爬取所有知乎用戶詳細信息並存至MongoDB(附視頻和源碼)
※如何高效學Python?
※Hello World!
TAG:Python |