爬蟲入門到精通-headers的詳細講解(模擬登錄知乎)
本文章屬於爬蟲入門到精通系統教程第七講
直接開始案例吧。
本次我們實現如何模擬登陸知乎。
1.抓包
1. 首先打開知乎登錄頁 知乎 - 與世界分享你的知識、經驗和見解
注意打開開發者工具後點擊「preserve log」,密碼記得故意輸入錯誤,然後點擊登錄
2. 我們很簡單的就找到了 我們需要的請求
_xsrf:81aa4a69cd410c3454ce515187f2d4c9npassword:***nemail:admin@wuaics.cnn
可以看到請求一共有三個參數
email 和password就是我們需要登錄的賬號及密碼
那麼_xsrf是什麼?我們在哪能找到?
像「_xsrf」這種參數,一般叫做頁面校檢碼,是來檢查你是否是從正常的登錄頁面過來的。
那我們複製這個值,在登錄頁面找找看。
可以看到已經找到了。用xpath很簡單就能獲取
//input[@name="_xsrf"]/@value n
所以,本次登錄我們需要得到的數據已經都得到了
步驟如下:
- 打開知乎登錄頁面,獲取_xsrf
- 把_xsrf和自己的賬號及密碼一起發送(模擬登錄)
2.模擬登錄
import requestsnnurl = https://www.zhihu.com/#signinnz = requests.get(url)nprint z.status_coden
我們會看到 http狀態碼為500...
至於為什麼會返回500狀態碼呢?是因為我們用程序來訪問知乎被發現了...
我們偽裝成瀏覽器,添加一行
可以看到返回正常了,http狀態碼為200(這就是headers的作用)
那我們現在獲取_xsrf
from lxml import etreensel = etree.HTML(z1.content)n# 這個xsrf怎麼獲取 我們上面有講到n_xsrf = sel.xpath(//input[@name="_xsrf"]/@value)[0]n
然後模擬登錄
loginurl = https://www.zhihu.com/login/emailn# 這裡的_xsrf就是我們剛剛上面得到的nformdata = {n email:admin@wuaics.cn,n password:你的密碼,n _xsrf:_xsrfn}nz2 = requests.post(url=loginurl,data=formdata,headers=headers)nprint z2.status_coden #200nprint z2.contentn# {"r":0,n "msg": "登錄成功"n}nprint z2.json()[msg]n# 登陸成功n
可以看到已經模擬登錄並成功了。
那我們來打開知乎 - 與世界分享你的知識、經驗和見解來檢查下 是否有登錄成功
# 為什麼用這個頁面呢?n# 因為這個頁面只有登錄後才能看得到,如果沒有登錄的話 會自動跳轉讓你登錄的nmylog = https://www.zhihu.com/people/pa-chong-21/logsnz3 = requests.get(url=mylog,headers=headers)nprint z3.status_coden#200nprint z3.urln# uhttps://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogsn
發現頁面url是 https://www.zhihu.com/?next=%2Fpeople%2Fpa-chong-21%2Flogs
並不是 我前面輸入的 https://www.zhihu.com/people/pa-chong-21/logs
說明知乎判斷我們沒有登錄,然後把我們跳轉到登錄頁面了.
如果感興趣的話,可以把z3.text 的返回值存為123.html,然後打開看看,是不是跳轉到登錄頁面了..
那麼為什麼會跳到登錄頁面呢?剛剛不是已經登錄成功了么?
這是因為,我們這幾個模擬請求,相互間都是獨立的,所以z2登錄成功了,和z3並沒有什麼關係。
那如果我現在想要z3不用再模擬登錄一次,也能登錄的話,怎麼辦呢?
我們可以把z2登錄成功後得到的cookie給z3,這樣,z3也就能登錄成功了.
用程序實現
再次判斷下是否登錄成功。
z3 = requests.get(url=mylog,headers=headers)nprint z3.urln# uhttps://www.zhihu.com/people/pa-chong-21/logsn
我們可以看到已經正常訪問了。說明我們登錄成功了
所以,以後只要你帶著這個cookie,就可以訪問登錄後的頁面了.(這就是cookie的作用..)
最後附上一個小技巧.
當你需要登錄,或者說你需要在一段會話中操作(也就是我們上面的操作)
會話對象高級用法 - Requests 2.10.0 文檔
會話對象讓你能夠跨請求保持某些參數。它也會在同一個 Session 實例發出的所有請求之間保持 cookie, 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發送多個請求,底層的 TCP 連接將會被重用,從而帶來顯著的性能提升。 (參見 HTTP persistent connection).
使用會話後,我們上面的代碼可以改成這樣
可以看到我們沒有把cookie傳過去,但是還是登錄成功了,這是因為session會自動幫你處理這些,會自動幫你管理cookie
我們可以列印看下我們請求的headers
可以看到headers裡面自動加上了cookie
最後所有的代碼都在kimg1234/pachong
最後再次總結一下
看完本篇文章後,你應該要
- 能理解User-Agent,cookie的作用
- 了解requests中的session用法
- 了解如何模擬登錄一個網頁
如果你對requests這個庫不太熟悉的話,你可以在快速上手 - Requests 2.10.0 文檔瀏覽。
歡迎關注本人的微信公眾號獲取更多Python爬蟲相關的內容
(可以直接搜索「Python爬蟲分享」)
推薦閱讀:
※【掃盲】五分鐘了解Python
※Python 3.6全揭秘
※[Python]因果檢驗工具
※Python 爬蟲實戰(一):使用 requests 和 BeautifulSoup
※ELEMENTARY.01.Say Hi