Python 網路爬蟲——如何在登陸情況下下載文檔

最近工作當中需要大量的從一些網站下載文檔，頻繁的重複操作相當浪費時間，因此就用了Python 作為爬蟲工具來解決這個問題。之前看到很多有關如何爬取網頁信息的文章，但是對於需要登陸的網站如何爬取內容和文檔則很少有介紹。剛好我使用的網站都需要登陸，就把我用的方法在這裡總結一下。

有很多python的方法可以實現登陸網頁，但是如果需要保持登陸條件下使用網頁的某些功能，則一般需要利用cookie。在所有的實現方法中，Request包是一種相對比較簡潔的方法。

import requestn

找到目標網頁的登陸頁面，在瀏覽器中用右鍵點擊用戶名和密碼區域「查看網頁源代碼」。在高亮的代碼中找name對應的值，通常是"username", "password"。在這個例子中是"email-login" 和"password-login"。

接下來的在代碼中建立一個session，保持登陸狀態。

s = Session()ns = session.post("登陸頁面的url",n n email-login: 「用戶名」,n password: 「密碼」,n #Token: "某些網站需要token，可以在這裡添加"nn }n

之後可以繼續利用s 這個session來爬取網頁內容或者利用api 下載文檔。

例如要下載一個下載按鈕的內容，可以右鍵點擊選擇複製鏈接地址，獲取url。複製url到下面的代碼。

resp = s.get(url, stream = True)n#如果只下載html可以使用下面一行n#resp = s.get(url)nnwith open(文檔.txt,wb) as f:n shutil.copyfileobj(resp.raw,f)n

希望這個簡單的登陸爬蟲例子能有所幫助。