標籤：

Python 爬蟲實戰（一）：使用 requests 和 BeautifulSoup

01-27

Python 基礎

我之前寫的《Python 3 極簡教程.pdf》，適合有點編程基礎的快速入門，通過該系列文章學習，能夠獨立完成介面的編寫，寫寫小東西沒問題。

requests

requests，Python HTTP 請求庫，相當於 Android 的 Retrofit，它的功能包括 Keep-Alive 和連接池、Cookie 持久化、內容自動解壓、HTTP 代理、SSL 認證、連接超時、Session 等很多特性，同時兼容 Python2 和 Python3，GitHub：github.com/requests/req 。

安裝

Mac：

pip3 install requestsn

Windows：

pip install requestsn

發送請求

HTTP 請求方法有 get、post、put、delete。

import requestsnn# get 請求nresponse = requests.get(http://127.0.0.1:1024/developer/api/v1.0/all)nn# post 請求nresponse = requests.post(http://127.0.0.1:1024/developer/api/v1.0/insert)nn# put 請求nresponse = requests.put(http://127.0.0.1:1024/developer/api/v1.0/update)nn# delete 請求nresponse = requests.delete(http://127.0.0.1:1024/developer/api/v1.0/delete)n

請求返回 Response 對象，Response 對象是對 HTTP 協議中服務端返回給瀏覽器的響應數據的封裝，響應的中的主要元素包括：狀態碼、原因短語、響應首部、響應 URL、響應 encoding、響應體等等。

# 狀態碼nprint(response.status_code)nn# 響應 URLnprint(response.url)nn# 響應短語nprint(response.reason)nn# 響應內容nprint(response.json())n

定製請求頭

請求添加 HTTP 頭部 Headers，只要傳遞一個 dict 給 headers 關鍵字參數就可以了。

header = {Application-Id: 19869a66c6,n Content-Type: application/jsonn }nresponse = requests.get(http://127.0.0.1:1024/developer/api/v1.0/all/, headers=header)n

構建查詢參數

想為 URL 的查詢字元串(query string)傳遞某種數據，比如：127.0.0.1:1024/develope ，Requests 允許你使用 params 關鍵字參數，以一個字元串字典來提供這些參數。

payload = {key1: value1, key2: value2}nresponse = requests.get("http://127.0.0.1:1024/developer/api/v1.0/all", params=payload)n

還可以將 list 作為值傳入：

payload = {key1: value1, key2: [value2, value3]}nresponse = requests.get("http://127.0.0.1:1024/developer/api/v1.0/all", params=payload)nn# 響應 URLnprint(response.url)# 列印：http://127.0.0.1:1024/developer/api/v1.0/all?key1=value1&key2=value2&key2=value3n

post 請求數據

如果伺服器要求發送的數據是表單數據，則可以指定關鍵字參數 data。

payload = {key1: value1, key2: value2}nresponse = requests.post("http://127.0.0.1:1024/developer/api/v1.0/insert", data=payload)n

如果要求傳遞 json 格式字元串參數，則可以使用 json 關鍵字參數，參數的值都可以字典的形式傳過去。

obj = {n "article_title": "小公務員之死2"n}n# response = requests.post(http://127.0.0.1:1024/developer/api/v1.0/insert, json=obj)n

響應內容

Requests 會自動解碼來自伺服器的內容。大多數 unicode 字符集都能被無縫地解碼。請求發出後，Requests 會基於 HTTP 頭部對響應的編碼作出有根據的推測。

# 響應內容n# 返回是 是 str 類型內容n# print(response.text())n# 返回是 JSON 響應內容nprint(response.json())n# 返回是二進位響應內容n# print(response.content())n# 原始響應內容，初始請求中設置了 stream=Truen# response = requests.get(http://127.0.0.1:1024/developer/api/v1.0/all, stream=True)n# print(response.raw())n

超時

如果沒有顯式指定了 timeout 值，requests 是不會自動進行超時處理的。如果遇到伺服器沒有響應的情況時，整個應用程序一直處於阻塞狀態而沒法處理其他請求。

response = requests.get(http://127.0.0.1:1024/developer/api/v1.0/all, timeout=5) # 單位秒數n

代理設置

如果頻繁訪問一個網站，很容易被伺服器屏蔽掉，requests 完美支持代理。

# 代理nproxies = {n http: http://127.0.0.1:1024,n https: http://127.0.0.1:4000,n}nresponse = requests.get(http://127.0.0.1:1024/developer/api/v1.0/all, proxies=proxies)n

BeautifulSoup

BeautifulSoup，Python Html 解析庫，相當於 Java 的 jsoup。

安裝

BeautifulSoup 3 目前已經停止開發，直接使用BeautifulSoup 4。

Mac：

pip3 install beautifulsoup4n

Windows：

pip install beautifulsoup4n

安裝解析器

我用的是 html5lib，純 Python 實現的。

Mac：

pip3 install html5libn

Windows：

pip install html5libn

簡單使用

BeautifulSoup 將複雜 HTML 文檔轉換成一個複雜的樹形結構，每個節點都是 Python 對象。

解析

from bs4 import BeautifulSoupnndef get_html_data():n html_doc = """n <html>n <head>n <title>WuXiaolong</title>n </head>n <body>n <p>分享 Android 技術，也關注 Python 等熱門技術。</p>n <p>寫博客的初衷：總結經驗，記錄自己的成長。</p>n <p>你必須足夠的努力，才能看起來毫不費力！專註！精緻！n </p>n <p class="Blog"><a href="http://wuxiaolong.me/">WuXiaolongs blog</a></p>n <p class="WeChat"><a href="https://open.weixin.qq.com/qr/code?username=MrWuXiaolong">公眾號：吳小龍同學</a> </p>n <p class="GitHub"><a href="http://example.com/tillie" class="sister" id="link3">GitHub</a></p>n </body>n </html> n """n soup = BeautifulSoup(html_doc, "html5lib")n

tag

tag = soup.headnprint(tag) # <head><title>WuXiaolong</title></head>nprint(tag.name) # headnprint(tag.title) # <title>WuXiaolong</title>nprint(soup.p) # <p>分享 Android 技術，也關注 Python 等熱門技術。</p>nprint(soup.a[href]) # 輸出 a 標籤的 href 屬性：http://wuxiaolong.me/n

注意：tag 如果多個匹配，返回第一個，比如這裡的 p 標籤。

查找

print(soup.find(p)) # <p>分享 Android 技術，也關注 Python 等熱門技術。</p>n

find 默認也是返回第一個匹配的標籤，沒找到匹配的節點則返回 None。如果我想指定查找，比如這裡的公眾號，可以指定標籤的如 class 屬性值：

# 因為 class 是 Python 關鍵字，所以這裡指定為 class_。nprint(soup.find(p, class_="WeChat"))n# <p class="WeChat"><a href="https://open.weixin.qq.com/qr/code?username=MrWuXiaolong">公眾號</a> </p>n

查找所有的 P 標籤：

for p in soup.find_all(p):n print(p.string) n

實戰

前段時間，有用戶反饋，我的個人 APP 掛了，雖然這個 APP 我已經不再維護，但是我也得起碼保證它能正常運行。大部分人都知道這個 APP 數據是爬來的（詳見：《手把手教你做個人app》），數據爬來的好處之一就是不用自己管數據，弊端是別人網站掛了或網站的 HTML 節點變了，我這邊就解析不到，就沒數據。這次用戶反饋，我在想要不要把他們網站數據直接爬蟲了，正好自學 Python，練練手，嗯說干就干，本來是想著先用 Python 爬蟲，MySQL 插入本地資料庫，然後 Flask 自己寫介面，用 Android 的 Retrofit 調，再用 bmob sdk 插入 bmob……哎，費勁，感覺行不通，後來我得知 bmob 提供了 RESTful，解決大問題，我可以直接 Python 爬蟲插入就好了，這裡我演示的是插入本地資料庫，如果用 bmob，是調 bmob 提供的 RESTful 插數據。

網站選定

我選的演示網站：meiriyiwen.com/random ，大家可以發現，每次請求的文章都不一樣，正好利用這點，我只要定時去請求，解析自己需要的數據，插入資料庫就 OK 了。

創建資料庫

我直接用 NaviCat Premium 創建的，當然也可以用命令行。

創建表

創建表 article，用的 pymysql，表需要 id，article_title，article_author，article_content 欄位，代碼如下，只需要調一次就好了。

import pymysqlnnndef create_table():n # 建立連接n db = pymysql.connect(host=localhost,n user=root,n password=root,n db=python3learn)n # 創建名為 article 資料庫語句n sql = create table if not exists article (n id int NOT NULL AUTO_INCREMENT, n article_title text,n article_author text,n article_content text,n PRIMARY KEY (`id`)n )n # 使用 cursor() 方法創建一個游標對象 cursorn cursor = db.cursor()n try:n # 執行 sql 語句n cursor.execute(sql)n # 提交事務n db.commit()n print(create table success)n except BaseException as e: # 如果發生錯誤則回滾n db.rollback()n print(e)nn finally:n # 關閉游標連接n cursor.close()n # 關閉資料庫連接n db.close()nnnif __name__ == __main__:n create_table()n

解析網站

首先需要 requests 請求網站，然後 BeautifulSoup 解析自己需要的節點。

import requestsnfrom bs4 import BeautifulSoupnnndef get_html_data():n # get 請求n response = requests.get(https://meiriyiwen.com/random)nn soup = BeautifulSoup(response.content, "html5lib")n article = soup.find("div", id=article_show)n article_title = article.h1.stringn print(article_title=%s % article_title)n article_author = article.find(p, class_="article_author").stringn print(article_author=%s % article.find(p, class_="article_author").string)n article_contents = article.find(div, class_="article_text").find_all(p)n article_content = n for content in article_contents:n article_content = article_content + str(content)n print(article_content=%s % article_content)n

插入資料庫

這裡做了一個篩選，默認這個網站的文章標題是唯一的，插入數據時，如果有了同樣的標題就不插入。

import pymysqlnnndef insert_table(article_title, article_author, article_content):n # 建立連接n db = pymysql.connect(host=localhost,n user=root,n password=root,n db=python3learn,n charset="utf8")n # 插入數據n query_sql = select * from article where article_title=%sn sql = insert into article (article_title,article_author,article_content) values (%s, %s, %s)n # 使用 cursor() 方法創建一個游標對象 cursorn cursor = db.cursor()n try:n query_value = (article_title,)n # 執行 sql 語句n cursor.execute(query_sql, query_value)n results = cursor.fetchall()n if len(results) == 0:n value = (article_title, article_author, article_content)n cursor.execute(sql, value)n # 提交事務n db.commit()n print(--------------《%s》 insert table success------------- % article_title)n return Truen else:n print(--------------《%s》 已經存在------------- % article_title)n return Falsenn except BaseException as e: # 如果發生錯誤則回滾n db.rollback()n print(e)nn finally: # 關閉游標連接n cursor.close()n # 關閉資料庫連接n db.close()n

定時設置

做了一個定時，過段時間就去爬一次。

import schednimport timennn# 初始化 sched 模塊的 scheduler 類n# 第一個參數是一個可以返回時間戳的函數，第二個參數可以在定時未到達之前阻塞。nschedule = sched.scheduler(time.time, time.sleep)nnn# 被周期性調度觸發的函數ndef print_time(inc):n # to do somethingn print(to do something)n schedule.enter(inc, 0, print_time, (inc,))nnn# 默認參數 60 sndef start(inc=60):n # enter四個參數分別為：間隔事件、優先順序（用於同時間到達的兩個事件同時執行時定序）、被調用觸發的函數，n # 給該觸發函數的參數（tuple形式）n schedule.enter(0, 0, print_time, (inc,))n schedule.run()nnnif __name__ == __main__:n # 5 s 輸出一次n start(5)n

完整代碼

import pymysqlnimport requestsnfrom bs4 import BeautifulSoupnimport schednimport timennndef create_table():n # 建立連接n db = pymysql.connect(host=localhost,n user=root,n password=root,n db=python3learn)n # 創建名為 article 資料庫語句n sql = create table if not exists article (n id int NOT NULL AUTO_INCREMENT, n article_title text,n article_author text,n article_content text,n PRIMARY KEY (`id`)n )n # 使用 cursor() 方法創建一個游標對象 cursorn cursor = db.cursor()n try:n # 執行 sql 語句n cursor.execute(sql)n # 提交事務n db.commit()n print(create table success)n except BaseException as e: # 如果發生錯誤則回滾n db.rollback()n print(e)nn finally:n # 關閉游標連接n cursor.close()n # 關閉資料庫連接n db.close()nnndef insert_table(article_title, article_author, article_content):n # 建立連接n db = pymysql.connect(host=localhost,n user=root,n password=root,n db=python3learn,n charset="utf8")n # 插入數據n query_sql = select * from article where article_title=%sn sql = insert into article (article_title,article_author,article_content) values (%s, %s, %s)n # 使用 cursor() 方法創建一個游標對象 cursorn cursor = db.cursor()n try:n query_value = (article_title,)n # 執行 sql 語句n cursor.execute(query_sql, query_value)n results = cursor.fetchall()n if len(results) == 0:n value = (article_title, article_author, article_content)n cursor.execute(sql, value)n # 提交事務n db.commit()n print(--------------《%s》 insert table success------------- % article_title)n return Truen else:n print(--------------《%s》 已經存在------------- % article_title)n return Falsenn except BaseException as e: # 如果發生錯誤則回滾n db.rollback()n print(e)nn finally: # 關閉游標連接n cursor.close()n # 關閉資料庫連接n db.close()nnndef get_html_data():n # get 請求n response = requests.get(https://meiriyiwen.com/random)nn soup = BeautifulSoup(response.content, "html5lib")n article = soup.find("div", id=article_show)n article_title = article.h1.stringn print(article_title=%s % article_title)n article_author = article.find(p, class_="article_author").stringn print(article_author=%s % article.find(p, class_="article_author").string)n article_contents = article.find(div, class_="article_text").find_all(p)n article_content = n for content in article_contents:n article_content = article_content + str(content)n print(article_content=%s % article_content)nn # 插入資料庫n insert_table(article_title, article_author, article_content)nnn# 初始化 sched 模塊的 scheduler 類n# 第一個參數是一個可以返回時間戳的函數，第二個參數可以在定時未到達之前阻塞。nschedule = sched.scheduler(time.time, time.sleep)nnn# 被周期性調度觸發的函數ndef print_time(inc):n get_html_data()n schedule.enter(inc, 0, print_time, (inc,))nnn# 默認參數 60 sndef start(inc=60):n # enter四個參數分別為：間隔事件、優先順序（用於同時間到達的兩個事件同時執行時定序）、被調用觸發的函數，n # 給該觸發函數的參數（tuple形式）n schedule.enter(0, 0, print_time, (inc,))n schedule.run()nnnif __name__ == __main__:n start(60*5)n

問題：這只是對一篇文章爬蟲，如果是那種文章列表，點擊是文章詳情，這種如何爬蟲解析？首先肯定要拿到列表，再循環一個個解析文章詳情插入資料庫？還沒有想好該如何做更好，留給後面的課題吧。

最後

雖然我學 Python 純屬業餘愛好，但是也要學以致用，不然這些知識很快就忘記了，期待下篇 Python 方面的文章。

參考

快速上手 — Requests 2.18.1 文檔

爬蟲入門系列（二）：優雅的HTTP庫requests

Beautiful Soup 4.2.0 文檔

爬蟲入門系列（四）：HTML文本解析庫BeautifulSoup

公眾號


推薦閱讀：

※ELEMENTARY.01.Say Hi
※【精心解讀】關於Jupyter Notebook的28個技巧
※理解 Python 裝飾器看這一篇就夠了
※爬豆瓣電影名的小案例（附視頻操作）
※我用Hexo寫博客

TAG:Python | python爬虫 | Android |