標籤：

字元，位元組和編碼

06-17
字元，位元組和編碼

[原創文章，轉載請保留或註明出處：http://www.regexlab.com/zh/encoding.htm]

級別：中級

摘要：本文介紹了字元與編碼的發展過程，相關概念的正確理解。舉例說明了一些實際應用中，編碼的實現方法。然後，本文講述了通常對字元與編碼的幾種誤解，由於這些誤解而導致亂碼產生的原因，以及消除亂碼的辦法。本文的內容涵蓋了「中文問題」，「亂碼問題」。

掌握編碼問題的關鍵是正確地理解相關概念，編碼所涉及的技術其實是很簡單的。因此，閱讀本文時需要慢讀多想，多思考。

引言

「字元與編碼」是一個被經常討論的話題。即使這樣，時常出現的亂碼仍然困擾著大家。雖然我們有很多的辦法可以用來消除亂碼，但我們並不一定理解這些辦法的內在原理。而有的亂碼產生的原因，實際上由於底層代碼本身有問題所導致的。因此，不僅是初學者會對字元編碼感到模糊，有的底層開發人員同樣對字元編碼缺乏準確的理解。

回頁首

1. 編碼問題的由來，相關概念的理解

1.1 字元與編碼的發展

從計算機對多國語言的支持角度看，大致可以分為三個階段：

　 系統內碼 說明 系統
階段一 ASCII 計算機剛開始只支持英語，其它語言不能夠在計算機上存儲和顯示。 英文 DOS
階段二 ANSI編碼（本地化） 為使計算機支持更多語言，通常使用 0x80~0xFF 範圍的 2 個位元組來表示 1 個字元。比如：漢字 『中『 在中文操作系統中，使用 [0xD6,0xD0] 這兩個位元組存儲。不同的國家和地區制定了不同的標準，由此產生了 GB2312, BIG5, JIS 等各自的編碼標準。這些使用 2 個位元組來代表一個字元的各種漢字延伸編碼方式，稱為 ANSI 編碼。在簡體中文系統下，ANSI 編碼代表 GB2312 編碼，在日文操作系統下，ANSI 編碼代表 JIS 編碼。不同 ANSI 編碼之間互不兼容，當信息在國際間交流時，無法將屬於兩種語言的文字，存儲在同一段 ANSI 編碼的文本中。 中文 DOS，中文 Windows 95/98，日文 Windows 95/98
階段三 UNICODE（國際化） 為了使國際間信息交流更加方便，國際組織制定了 UNICODE 字符集，為各種語言中的每一個字元設定了統一併且唯一的數字編號，以滿足跨語言、跨平台進行文本轉換、處理的要求。 Windows NT/2000/XP，Linux，Java

字元串在內存中的存放方法：

在 ASCII 階段，單位元組字元串使用一個位元組存放一個字元（SBCS）。比如，"Bob123" 在內存中為：

42 6F 62 31 32 33 00

B o b 1 2 3

在使用 ANSI 編碼支持多種語言階段，每個字元使用一個位元組或多個位元組來表示（MBCS），因此，這種方式存放的字元也被稱作多位元組字元。比如，"中文123" 在中文 Windows 95 內存中為7個位元組，每個漢字佔2個位元組，每個英文和數字字元佔1個位元組：

D6 D0 CE C4 31 32 33 00

中 文 1 2 3

在 UNICODE 被採用之後，計算機存放字元串時，改為存放每個字元在 UNICODE 字符集中的序號。目前計算機一般使用 2 個位元組（16 位）來存放一個序號（DBCS），因此，這種方式存放的字元也被稱作寬位元組字元。比如，字元串 "中文123" 在 Windows 2000 下，內存中實際存放的是 5 個序號：

2D 4E 87 65 31 00 32 00 33 00 00 00 ← 在 x86 CPU 中，低位元組在前

中 文 1 2 3 　

一共占 10 個位元組。

回頁首
1.2 字元，位元組，字元串

理解編碼的關鍵，是要把字元的概念和位元組的概念理解準確。這兩個概念容易混淆，我們在此做一下區分：

　 概念描述 舉例
字元 人們使用的記號，抽象意義上的一個符號。 『1『, 『中『, 『a『, 『$『, 『￥『, ……
位元組 計算機中存儲數據的單元，一個8位的二進位數，是一個很具體的存儲空間。 0x01, 0x45, 0xFA, ……
ANSI字元串 在內存中，如果「字元」是以 ANSI 編碼形式存在的，一個字元可能使用一個位元組或多個位元組來表示，那麼我們稱這種字元串為 ANSI 字元串或者多位元組字元串。 "中文123"（佔7位元組）
UNICODE字元串 在內存中，如果「字元」是以在 UNICODE 中的序號存在的，那麼我們稱這種字元串為 UNICODE 字元串或者寬位元組字元串。 L"中文123"（佔10位元組）

由於不同 ANSI 編碼所規定的標準是不相同的，因此，對於一個給定的多位元組字元串，我們必須知道它採用的是哪一種編碼規則，才能夠知道它包含了哪些「字元」。而對於 UNICODE 字元串來說，不管在什麼環境下，它所代表的「字元」內容總是不變的。

回頁首
1.3 字符集與編碼

各個國家和地區所制定的不同 ANSI 編碼標準中，都只規定了各自語言所需的「字元」。比如：漢字標準（GB2312）中沒有規定韓國語字元怎樣存儲。這些 ANSI 編碼標準所規定的內容包含兩層含義：

  1. 使用哪些字元。也就是說哪些漢字，字母和符號會被收入標準中。所包含「字元」的集合就叫做「字符集」。
  2. 規定每個「字元」分別用一個位元組還是多個位元組存儲，用哪些位元組來存儲，這個規定就叫做「編碼」。

各個國家和地區在制定編碼標準的時候，「字元的集合」和「編碼」一般都是同時制定的。因此，平常我們所說的「字符集」，比如：GB2312, GBK, JIS 等，除了有「字元的集合」這層含義外，同時也包含了「編碼」的含義。

「UNICODE 字符集」包含了各種語言中使用到的所有「字元」。用來給 UNICODE 字符集編碼的標準有很多種，比如：UTF-8, UTF-7, UTF-16, UnicodeLittle, UnicodeBig 等。

回頁首
1.4 常用的編碼簡介

簡單介紹一下常用的編碼規則，為後邊的章節做一個準備。在這裡，我們根據編碼規則的特點，把所有的編碼分成三類：

分類 編碼標準 說明
單位元組字元編碼 ISO-8859-1 最簡單的編碼規則，每一個位元組直接作為一個 UNICODE 字元。比如，[0xD6, 0xD0] 這兩個位元組，通過 iso-8859-1 轉化為字元串時，將直接得到 [0x00D6, 0x00D0] 兩個 UNICODE 字元，即 "?D"。反之，將 UNICODE 字元串通過 iso-8859-1 轉化為位元組串時，只能正常轉化 0~255 範圍的字元。
ANSI 編碼 GB2312,BIG5,Shift_JIS,ISO-8859-2 …… 把 UNICODE 字元串通過 ANSI 編碼轉化為「位元組串」時，根據各自編碼的規定，一個 UNICODE 字元可能轉化成一個位元組或多個位元組。反之，將位元組串轉化成字元串時，也可能多個位元組轉化成一個字元。比如，[0xD6, 0xD0] 這兩個位元組，通過 GB2312 轉化為字元串時，將得到 [0x4E2D] 一個字元，即 『中『 字。「ANSI 編碼」的特點：1. 這些「ANSI 編碼標準」都只能處理各自語言範圍之內的 UNICODE 字元。2. 「UNICODE 字元」與「轉換出來的位元組」之間的關係是人為規定的。
UNICODE 編碼 UTF-8,UTF-16, UnicodeBig …… 與「ANSI 編碼」類似的，把字元串通過 UNICODE 編碼轉化成「位元組串」時，一個 UNICODE 字元可能轉化成一個位元組或多個位元組。與「ANSI 編碼」不同的是：1. 這些「UNICODE 編碼」能夠處理所有的 UNICODE 字元。2. 「UNICODE 字元」與「轉換出來的位元組」之間是可以通過計算得到的。

我們實際上沒有必要去深究每一種編碼具體把某一個字元編碼成了哪幾個位元組，我們只需要知道「編碼」的概念就是把「字元」轉化成「位元組」就可以了。對於「UNICODE 編碼」，由於它們是可以通過計算得到的，因此，在特殊的場合，我們可以去了解某一種「UNICODE 編碼」是怎樣的規則。

回頁首

2. 字元與編碼在程序中的實現

2.1 程序中的字元與位元組

在 C++ 和 Java 中，用來代表「字元」和「位元組」的數據類型，以及進行編碼的方法：

類型或操作 C++ Java
字元 wchar_t char
位元組 char byte
ANSI 字元串 char[] byte[]
UNICODE 字元串 wchar_t[] String
位元組串→字元串 mbstowcs(), MultiByteToWideChar() string = new String(bytes, "encoding")
字元串→位元組串 wcstombs(), WideCharToMultiByte() bytes = string.getBytes("encoding")

以上需要注意幾點：

  1. Java 中的 char 代表一個「UNICODE 字元（寬位元組字元）」，而 C++ 中的 char 代表一個位元組。
  2. MultiByteToWideChar() 和 WideCharToMultiByte() 是 Windows API 函數。

回頁首
2.2 C++ 中相關實現方法

聲明一段字元串常量：

// ANSI 字元串，內容長度 7 位元組char sz[20] = "中文123";// UNICODE 字元串，內容長度 5 個 wchar_t（10 位元組）wchar_t wsz[20] = L"x4E2Dx6587x0031x0032x0033";

UNICODE 字元串的 I/O 操作，字元與位元組的轉換操作：

// 運行時設定當前 ANSI 編碼，VC 格式setlocale(LC_ALL, ".936");// GCC 中格式setlocale(LC_ALL, "zh_CN.GBK");// Visual C++ 中使用小寫 %s，按照 setlocale 指定編碼輸出到文件// GCC 中使用大寫 %Sfwprintf(fp, L"%s
", wsz);// 把 UNICODE 字元串按照 setlocale 指定的編碼轉換成位元組wcstombs(sz, wsz, 20);// 把位元組串按照 setlocale 指定的編碼轉換成 UNICODE 字元串mbstowcs(wsz, sz, 20);

在 Visual C++ 中，UNICODE 字元串常量有更簡單的表示方法。如果源程序的編碼與當前默認 ANSI 編碼不符，則需要使用 #pragma setlocale，告訴編譯器源程序使用的編碼：

// 如果源程序的編碼與當前默認 ANSI 編碼不一致，// 則需要此行，編譯時用來指明當前源程序使用的編碼#pragma setlocale(".936")// UNICODE 字元串常量，內容長度 10 位元組wchar_t wsz[20] = L"中文123";

以上需要注意 #pragma setlocale 與 setlocale(LC_ALL, "") 的作用是不同的，#pragma setlocale 在編譯時起作用，setlocale() 在運行時起作用。

回頁首
2.3 Java 中相關實現方法

字元串類 String 中的內容是 UNICODE 字元串：

// Java 代碼，直接寫中文String string = "中文123";// 得到長度為 5，因為是 5 個字元System.out.println(string.length());

字元串 I/O 操作，字元與位元組轉換操作。在 Java 包 java.io.* 中，以「Stream」結尾的類一般是用來操作「位元組串」的類，以「Reader」，「Writer」結尾的類一般是用來操作「字元串」的類。

// 字元串與位元組串間相互轉化// 按照 GB2312 得到位元組（得到多位元組字元串）byte [] bytes = string.getBytes("GB2312");// 從位元組按照 GB2312 得到 UNICODE 字元串string = new String(bytes, "GB2312");// 要將 String 按照某種編碼寫入文本文件，有兩種方法：// 第一種辦法：用 Stream 類寫入已經按照指定編碼轉化好的位元組串OutputStream os = new FileOutputStream("1.txt");os.write(bytes);os.close();// 第二種辦法：構造指定編碼的 Writer 來寫入字元串Writer ow = new OutputStreamWriter(new FileOutputStream("2.txt"), "GB2312");ow.write(string);ow.close();/* 最後得到的 1.txt 和 2.txt 都是 7 個位元組 */

如果 java 的源程序編碼與當前默認 ANSI 編碼不符，則在編譯的時候，需要指明一下源程序的編碼。比如：

E:>javac -encoding BIG5 Hello.java

以上需要注意區分源程序的編碼與 I/O 操作的編碼，前者是在編譯時起作用，後者是在運行時起作用。

回頁首

3. 幾種誤解，以及亂碼產生的原因和解決辦法

3.1 容易產生的誤解
　 對編碼的誤解
誤解一 在將「位元組串」轉化成「UNICODE 字元串」時，比如在讀取文本文件時，或者通過網路傳輸文本時，容易將「位元組串」簡單地作為單位元組字元串，採用每「一個位元組」就是「一個字元」的方法進行轉化。而實際上，在非英文的環境中，應該將「位元組串」作為 ANSI 字元串，採用適當的編碼來得到 UNICODE 字元串，有可能「多個位元組」才能得到「一個字元」。通常，一直在英文環境下做開發的程序員們，容易有這種誤解。
誤解二 在 DOS，Windows 98 等非 UNICODE 環境下，字元串都是以 ANSI 編碼的位元組形式存在的。這種以位元組形式存在的字元串，必須知道是哪種編碼才能被正確地使用。這使我們形成了一個慣性思維：「字元串的編碼」。當 UNICODE 被支持後，Java 中的 String 是以字元的「序號」來存儲的，不是以「某種編碼的位元組」來存儲的，因此已經不存在「字元串的編碼」這個概念了。只有在「字元串」與「位元組串」轉化時，或者，將一個「位元組串」當成一個 ANSI 字元串時，才有編碼的概念。不少的人都有這個誤解。

第一種誤解，往往是導致亂碼產生的原因。第二種誤解，往往導致本來容易糾正的亂碼問題變得更複雜。

在這裡，我們可以看到，其中所講的「誤解一」，即採用每「一個位元組」就是「一個字元」的轉化方法，實際上也就等同於採用 iso-8859-1 進行轉化。因此，我們常常使用 bytes = string.getBytes("iso-8859-1") 來進行逆向操作，得到原始的「位元組串」。然後再使用正確的 ANSI 編碼，比如 string = new String(bytes, "GB2312")，來得到正確的「UNICODE 字元串」。

回頁首
3.2 非 UNICODE 程序在不同語言環境間移植時的亂碼

非 UNICODE 程序中的字元串，都是以某種 ANSI 編碼形式存在的。如果程序運行時的語言環境與開發時的語言環境不同，將會導致 ANSI 字元串的顯示失敗。

比如，在日文環境下開發的非 UNICODE 的日文程序界面，拿到中文環境下運行時，界面上將顯示亂碼。如果這個日文程序界面改為採用 UNICODE 來記錄字元串，那麼當在中文環境下運行時，界面上將可以顯示正常的日文。

由於客觀原因，有時候我們必須在中文操作系統下運行非 UNICODE 的日文軟體，這時我們可以採用一些工具，比如，南極星，AppLocale 等，暫時的模擬不同的語言環境。

回頁首
3.3 網頁提交字元串

當頁面中的表單提交字元串時，首先把字元串按照當前頁面的編碼，轉化成位元組串。然後再將每個位元組轉化成 "%XX" 的格式提交到 Web 伺服器。比如，一個編碼為 GB2312 的頁面，提交 "中" 這個字元串時，提交給伺服器的內容為 "%D6%D0"。

在伺服器端，Web 伺服器把收到的 "%D6%D0" 轉化成 [0xD6, 0xD0] 兩個位元組，然後再根據 GB2312 編碼規則得到 "中" 字。

在 Tomcat 伺服器中，request.getParameter() 得到亂碼時，常常是因為前面提到的「誤解一」造成的。默認情況下，當提交 "%D6%D0" 給 Tomcat 伺服器時，request.getParameter() 將返回 [0x00D6, 0x00D0] 兩個 UNICODE 字元，而不是返回一個 "中" 字元。因此，我們需要使用 bytes = string.getBytes("iso-8859-1") 得到原始的位元組串，再用 string = new String(bytes, "GB2312") 重新得到正確的字元串 "中"。

回頁首
3.4 從資料庫讀取字元串

通過資料庫客戶端（比如 ODBC 或 JDBC）從資料庫伺服器中讀取字元串時，客戶端需要從伺服器獲知所使用的 ANSI 編碼。當資料庫伺服器發送位元組流給客戶端時，客戶端負責將位元組流按照正確的編碼轉化成 UNICODE 字元串。

如果從資料庫讀取字元串時得到亂碼，而資料庫中存放的數據又是正確的，那麼往往還是因為前面提到的「誤解一」造成的。解決的辦法還是通過 string = new String( string.getBytes("iso-8859-1"), "GB2312") 的方法，重新得到原始的位元組串，再重新使用正確的編碼轉化成字元串。

回頁首
3.5 電子郵件中的字元串

當一段 Text 或者 HTML 通過電子郵件傳送時，發送的內容首先通過一種指定的字元編碼轉化成「位元組串」，然後再把「位元組串」通過一種指定的傳輸編碼（Content-Transfer-Encoding）進行轉化得到另一串「位元組串」。比如，打開一封電子郵件源代碼，可以看到類似的內容：

Content-Type: text/plain; charset="gb2312"Content-Transfer-Encoding: base64sbG+qcrQuqO17cf4yee74bGjz9W7+b3wudzA7dbQ0MQNCg0KvPKzxqO6uqO17cnnsaPW0NDEDQoNCg==

最常用的 Content-Transfer-Encoding 有 Base64 和 Quoted-Printable 兩種。在對二進位文件或者中文文本進行轉化時，Base64 得到的「位元組串」比 Quoted-Printable 更短。在對英文文本進行轉化時，Quoted-Printable 得到的「位元組串」比 Base64 更短。

郵件的標題，用了一種更簡短的格式來標註「字元編碼」和「傳輸編碼」。比如，標題內容為 "中"，則在郵件源代碼中表示為：

// 正確的標題格式Subject: =?GB2312?B?1tA=?=

其中，

  • 第一個「=?」與「?」中間的部分指定了字元編碼，在這個例子中指定的是 GB2312。
  • 「?」與「?」中間的「B」代表 Base64。如果是「Q」則代表 Quoted-Printable。
  • 最後「?」與「?=」之間的部分，就是經過 GB2312 轉化成位元組串，再經過 Base64 轉化後的標題內容。

    • 如果「傳輸編碼」改為 Quoted-Printable，同樣，如果標題內容為 "中"：

    // 正確的標題格式Subject: =?GB2312?Q?=D6=D0?=

    如果閱讀郵件時出現亂碼，一般是因為「字元編碼」或「傳輸編碼」指定有誤，或者是沒有指定。比如，有的發郵件組件在發送郵件時，標題 "中"：

    // 錯誤的標題格式Subject: =?ISO-8859-1?Q?=D6=D0?=

    這樣的表示，實際上是明確指明了標題為 [0x00D6, 0x00D0]，即 "?D"，而不是 "中"。

    回頁首

    4. 幾種錯誤理解的糾正

    誤解：「ISO-8859-1 是國際編碼？」

    非也。iso-8859-1 只是單位元組字符集中最簡單的一種，也就是「位元組編號」與「UNICODE 字元編號」一致的那種編碼規則。當我們要把一個「位元組串」轉化成「字元串」，而又不知道它是哪一種 ANSI 編碼時，先暫時地把「每一個位元組」作為「一個字元」進行轉化，不會造成信息丟失。然後再使用 bytes = string.getBytes("iso-8859-1") 的方法可恢復到原始的位元組串。

    誤解：「Java 中，怎樣知道某個字元串的內碼？」

    Java 中，字元串類 java.lang.String 處理的是 UNICODE 字元串，不是 ANSI 字元串。我們只需要把字元串作為「抽象的符號的串」來看待。因此不存在字元串的內碼的問題。

    回頁首

    5. 相關鏈接

    推薦閱讀：

    ※玫瑰十字元號詳解
    ※一個字元串中文本與數字的拆分
    ※簡譜音樂符號大全 音樂字元大全
    ※一個人，一首歌，一支筆，一串字元，幾縷情絲，一段年華。
    ※精彩ＱＱ字元貼圖之?節日

    TAG:編碼 | 字元 |