Python 抓取網頁亂碼原因分析

在用 python2 抓取網頁的時候,經常會遇到抓下來的內容顯示出來是亂碼。

發生這種情況的最大可能性就是編碼問題:運行環境的字元編碼和網頁的字元編碼不一致。

比如,在 windows 的控制台(gbk)里抓取了一個 utf-8 編碼的網站。或者,在 Mac / Linux 的終端(utf-8)里抓取了一個 gbk 編碼的網站。因為多數網站採用 utf-8 編碼,而不少人又是用 windows,所有這種情況相當常見。

如果你發現你抓下來的內容,看上去英文、數字、符號都是對的,但中間夾雜了一些亂碼,那基本可以斷定是此情況。

解決這個問題的辦法就是,把結果先按網頁的編碼方式 decode 解碼成 unicode,再輸出。如果不確定網頁的編碼,可參照以下代碼:

import urllibnreq = urllib.urlopen("http://some.web.site")ninfo = req.info()ncharset = info.getparam(charset)ncontent = req.read()nprint content.decode(charset, ignore)n

ignore 參數的作用是忽略掉無法解碼的字元。

不過這種方法不總是有效。還有種方式就是通過正則直接匹配網頁代碼中的編碼設置:

<meta http-equiv=Content-Type content="text/html;charset=utf-8">n

除了編碼問題造成亂碼之外,還有種常被忽視的情況,就是目標網頁啟用了 gzip 壓縮。壓縮後的網頁傳輸數據少了,打開速度更快。在瀏覽器中打開時,瀏覽器會根據網頁的 header 信息自動做解壓。但直接用代碼抓取則不會。因此很可能就被搞糊塗了,為什麼明明打開網頁地址是對的,但程序抓取就不行。連我自己也曾經被這個問題坑過。

這種情況的表現是抓取的內容幾乎全是亂碼,甚至無法顯示。

要判斷網頁是否啟用了壓縮並對其解壓,可參考以下代碼:

import urllibnimport gzipnfrom StringIO import StringIOnreq = urllib.urlopen("http://some.web.site")ninfo = req.info()nencoding = info.getheader(Content-Encoding)ncontent = req.read()nif encoding == gzip:n buf = StringIO(content)n gf = gzip.GzipFile(fileobj=buf)n content = gf.read()nprint contentn

在我們教室的編程實例 查天氣系列(點擊查看) 中,這兩個問題困擾了相當多人。在此特別講解一下。

最後,還有個「利器」要介紹一下。如果一開始就用它,你甚至不知道還有上述兩個問題的存在。

這就是 requests 模塊。

同樣抓取網頁,只需要:

import requestsnprint requests.get("http://some.web.site").textn

沒有編碼問題,沒有壓縮問題。

This is why I love Python.

至於如何安裝 requests 模塊,請參考之前的文章:

如何安裝 Python 的第三方模塊 - Crossin的編程教室 - 知乎專欄

pip install requestsn

其他文章及回答:

你是如何自學 Python 的? - Crossin 的回答

學習編程的過程中可能會走哪些彎路,有哪些經驗可以參考? - Crossin 的回答

編程初學者如何使用搜索引擎 - Crossin的文章 - 知乎專欄

如何直觀地理解程序的運行過程? - Crossin的文章 - 知乎專欄

如何在一台電腦上同時使用 Python 2 和 Python 3 - Crossin的編程教室 - 知乎專欄

Crossin的編程教室

微信ID:crossincode

論壇:Crossin的編程教室

QQ群:498545096


推薦閱讀:

用爬蟲抓取崑崙決所有選手信息並保存為PDF檔案!(淺談搏擊運動數據分析)
Python數據分析模塊 | pandas做數據分析(一):基本數據對象
使用Python進行語音識別---將音頻轉為文字
Python-Excel 模塊哪家強?

TAG:Python | 编程入门 | 自学编程 |