五分鐘戰勝Python字元編碼
對於很多接觸Python的人而言,字元的處理和語言整體的溫順可靠相比顯得格外桀驁不馴難以駕馭。
本文不談複雜的理論,就經驗教你字元處理八字真言:確定編碼,同類交互。
文章針對Python 2.7,主要因為3對的編碼已經有了很大的改善並且實際原理一樣,更改一下操作命令即可。
了解完本文,你可以輕鬆解決文字處理,特殊平台(Windows?)下的編碼,爬蟲編碼等問題。
閱讀建議
本文分為如下幾個部分:
- 原理
- 具體操作
- 建議的使用習慣
- 疑難問題解答
如果想要了解我給出的使用習慣,可以直接跳到建議的使用習慣。
如果只想要解決相關問題可以直接跳到疑難問題解答。
希望本文能夠幫到你。
原理
為了理解方便,這裡不談理論只做類比,具體想要進一步了解各種編碼的理論的搜狗一下好了。
首先說一下我們為什麼會碰到各式各樣的編碼問題:
- 因為我們沒有統一編碼
- 因為我們沒有用對命令(傳對數據)
再說一下編碼是什麼,Python的編碼看似複雜,實際上可以看做只有兩類編碼:Unicode,二進位
- Unicode 相信都很熟悉:,就是u0000這樣的
- 二進位編碼也很簡單,就是x00x00這樣的,平常看到的utf-8,cp936都是二進位編碼
- 二進位編碼是具象的,10001100原樣就可以存儲,而Unicode是抽象的,不能這樣存
#coding=utf8# Unicode編碼演示print(Unicode:)print(repr(uUnicode編碼))`# 二進位編碼演示print(u二進位編碼:)print(repr(Unicode編碼))`# 只是看個樣子,代碼不必去深究
再說怎麼做,就是只有同種編碼之間才可以操作
- 舉個簡單的類比
就把一串數據比為烤鴨,我們作為人和鴨子不同種看待烤鴨的態度完全不一樣。我們看到的是晚上的配菜,鴨子看到的是自己二舅。那麼我在逛烤鴨店的時候用錯編碼就會報錯。因為我在烤鴨店看到了滿世界的二舅。
- 這裡說的同種就是我們熟悉的各種編碼方式:utf-8,unicode,ucs-bom
- 這也就是編碼問題的核心,非常重要。
最後說一下Python的環境
- 本身代碼是用Ascii解碼的,文件里有Ascii無法解碼的內容的話要告知Python怎麼解碼
- 內部大量命令都是默認接受Unicode
# 告知的命令就是下面這一行,刪掉就會報錯#coding=utf8print(u測試編碼)
具體操作
拿到各種編碼的內容自然是不用說,那麼如果我們想要自己構造怎麼做呢,看下面:
#coding=utf8# 字元串前面加u會默認構造出Unicode的字元串unicodeString = uUnicode字元串# 字元串前面什麼都不加會構造出默認編碼(首行限定了現在的utf8)的字元串utf8String = Utf-8字元串# 當然,沒有首行,默認的編碼是Ascii
那麼他們之間怎麼轉換呢,同樣很簡單:
# 接上一段程序# Unicode轉化為二進位編碼中的一種:utf8unicodeString.encode(utf8)# 二進位編碼根據自己的編碼種類轉化為Unicodeutf8String.decode(utf8)# 如果二進位編碼中混進了奇怪的東西可以根據需求用特殊的decode策略print(repr(u8字x00符串.decode(utf8, replace)))
那麼怎麼樣會出現問題呢:
# 接上一段程序# 如果我們把他們轉化成同樣的編碼方式就可以操作(例如相加)print(repr(unicodeString + utf8String.decode(utf8)))print(repr(unicodeString.encode(utf8) + utf8String))# 但如果不轉化,當然就會出現滿世界的烤鴨二舅啦unicodeString + utf8String# 所以另一方面也發現,編碼轉換是需要我們告訴程序怎麼做的# 所有`decode`操作都會生成Unicode編碼,這是為了方便我之前說的大量接受Unicode的內部命令
所以我們需要確定程序使用的編碼,這是我們需要告訴程序的東西
- 一方面在操作字元串的時候確定是同種編碼
- 另一方面在使用非自己寫的命令時,一般使用Unicode,或者使用接收二進位編碼的命令
#coding=utf8# 這裡拿寫入文件舉例# 一般使用Unicodewith open(Unicode.txt, w) as f: f.write(uUnicode測試)# 或者使用接收二進位編碼的命令with open(Utf8.txt, wb) as f: f.write(Utf8測試)# 你可以反過來做個測試,自然會報錯# 二進位的命令方便了在不知道怎麼解碼的情況下也能進行操作(寫入文件)
我建議的使用習慣
相信到這裡我已經把我對於編碼的理解講完了。
我們為什麼會碰到各式各樣的編碼問題:
- 因為我們沒有統一編碼
- 因為我們沒有用對命令(傳對數據)
所以這裡再重申一下八字真言:確定編碼,同類交互
- 碰到問題,問一下自己,我現在是哪種編碼
- 同一種編碼才能交互,那我應該是哪種編碼
這裡給出我的使用習慣:
- 確定一種內部編碼
- 內部編碼的選擇優先順序如下:程序必須使用的編碼、第三方包使用的編碼、你喜歡的編碼、Unicode
- 在輸出時再更改到特定的編碼
記得在開始整個程序之前確定內部的編碼,否則編碼一團糟會產生很多不必要的bug。
不要迷信內部Unicode,例如Evernote開發就應該根據第三方包使用的Utf8確定內部編碼。
疑難問題解答
編碼識別
說了要確定編碼,那麼拿到一串二進位要怎麼確定編碼呢?
最簡單的方法是chardet:(需要安裝)
python -m pip install chardet
使用非常簡單:
#coding=utf8from chardet import detectprint(detect(這是一串utf8的測試字元))# 結果:`{confidence: 0.99, encoding: utf-8}`
另外例如抓取網站,那麼頭文件中很有可能有提示如何解碼,記得不要忘記了。
編碼轉換
很可能因為字元串中參雜了奇怪的東西,導致即使編碼種類正確,依舊無法解碼。
我知道我之前講過了,但可能有人直接跳疑難問題解答嘛。
這裡可以使用decode的第二個參數:
#coding=utf8# 字元串中混進了x00rubbishUtf8String = Utf-8字x00符串print(repr(rubbishUtf8String.decode(utf8, replace)))print(repr(rubbishUtf8String.decode(utf8, ignore)))
特殊平台下編碼
很多人都說Windows是個坑,即使在Python 3下面也一樣。
因為中文文件名出來都是亂碼。
這裡使用一個取巧的方法:平台編碼再特殊,起碼命令行讀取和創建一個文件夾不會出亂碼吧。
import sys, osfor folder in os.walk(.).next()[1]: print(folder.decode(sys.stdin.encoding))
同樣的輸入輸出也可以這樣做優化:
import sysdef sys_print(msg): print(msg.encode(sys.stdin.encoding))def sys_input(msg): return raw_input(msg.encode(sys.stdin.encoding)).decode(sys.stdin.encoding)
文件寫入
如果抓下來一個內容不知道怎麼解碼,但還是想要寫入文件怎麼辦
寫入文件的時候制定用二進位命令即可:
#coding=utf8import urllibwith open(Utf8.txt, wb) as f: f.write(Utf8測試)# 比如抓了個網頁,不知道編碼也可以寫入文件進行一系列操作content = urllib.urlopen(http://www.baidu.com).read()with open(baidu.txt, wb) as f: f.write(content)
裸Unicode字元
Unicode存成六個Ascii字元怎麼辦?其實也可以decode
#coding=utf8# 這是普通的Unicodes = u測for i in s: print(i)print(repr(s))# 這是裸Unicode,實際存成了六個Asciis = repr(s)[2:-1]for i in s: print(i)print(repr(s))# 轉化其實也很簡單s = s.decode(unicode-escape)for i in s: print(i)print(repr(s))
結束語
希望讀完這篇文章能對你有幫助,有什麼不足之處萬望指正(鞠躬)。
有什麼想法或者想要關注我的更新,歡迎來Github上Star或者Fork我的項目。
160623
LittleCoder
EOF
推薦閱讀:
※Python中,if與elif有何區別?
※黃哥Python細說,學到什麼程度可以找到工作?
※「男友讓我打十萬個「對不起」,漢字標上多少遍。」這個問題用 R 如何實現?
※薦書:《Fluent Python》
※迷上了做菜,居然用爬蟲。