信息熵極低的文字會是什麼樣子？

12-31

由這個問題140 字元數限制下，哪些當代語種能表達盡量大的信息量，同時不失準確？ - 語言
下排名第一的答案而開的腦洞
既然拼音文字的信息熵普遍低於語素文字，那麼有沒有比拼音文字的信息熵更低的文字呢？如果有，會是什麼樣子？
——————

據上述問題中的回答所述：
信息熵越高，語言越言簡意賅；
信息熵越低，語言越冗餘堆積。
因此
目前多數回答把這個概念理解反了，都在舉言簡意賅（高信息熵）的例子，而非低信息熵的例子。

謝邀。

這是個有趣的問題，要想給出正確的回答，就首先要明確一點：什麼是信息熵？

為了照顧懶得到處翻問題的知友，我先簡單給出如下定義：

信息熵可以認為是系統中所含有的平均信息量大小，也可以認為是描述一個系統需要的最小存儲空間長度，即最少用多少個存儲空間就可以描述這個系統。

熱力學中的熵(Entropy)被用作系統無序程度的度量，而這一概念被香農(C.E.Shannon)引入到資訊理論中，並可以作如下量化：

$H(x)=sum_{i=1}^{n}{p(x_{i} )I(x_{i} )} =-sum_{i=1}^{n}{p(x_{i} )} log_{b}p(x_{i} )$

值得一提的是，如果式中的 $log$ 是以2為底的，那麼計算出來的信息熵單位即為「bit」，這一術語的也是Shannon在他的著名論文A Mathematical Theory of Communication（鏈接戳bell-labs.com 的頁面）中首次正式使用的，其貢獻不言而喻。

有了信息熵的定義，我們可以試著處理一些簡單的事例。

就以英語為例。英語一共有23、啊不對26個字母，加上單詞間的空格一共27個字元，構成 $x_{i}$ 取值的集合。如果這27個字元出現幾率均等 $p(x_{i} )=frac{1}{27}$ ，我們取對數以2為底，可以計算出它的信息熵

$H(x)=-sum_{i=1}^{27}{frac{1}{27} log_{2}left( frac{1}{27} ight) } =3log_{2}3 approx 4.76 bit$

而語言學家告訴我們英文的信息熵是4.03 bit ，這一數值要小於我們所計算的4.76 bit，原因就是有些字母常用而另外一些不常用。同時我們還可以看到，英文所傳達的信息大概只均勻使用了 $2^{4.03} approx 16.4$ 個字母，也就是說如果可能的話其實英語只需要16個字母加空格就可以在最大程度上表達他們的信息了，而另外的10個字母則完全沒有出現的必要。（這樣一來TOEFL的難度是會增加還是降低呢？）

通過上面的討論我們可以看到，信息熵所表徵的是通訊中編碼的碼長的效率，是碼長的節約或冗餘，而非信息本身的節約或冗餘。因此，任何一組字符集，在最有效使用的情況下，可以傳達的信息量最大，等於 $log_{2} n$ 。

那麼問題來了：什麼時候信息熵極低呢？

（我不是語言學工作者，而且見得也不多，以下內容純屬個人臆測）

單純從信息熵的定義式出發，我們可以得到幾個結論：

$H(x)=sum_{i=1}^{n}{p(x_{i} )I(x_{i} )} =-sum_{i=1}^{n}{p(x_{i} )} log_{b}p(x_{i} ) geq 0$ 這個式子是非負的。
一個文字系統的n值越高，信息熵值也相應越大。

說到這想必大家可以隱約猜到答案了——只有一個字元的文字系統。

在這個系統下，它的 $n=1,p(x_{i} )=1,H(x)=0$ ，是信息熵最低的情況。

（為了便於討論，我們不妨把它記為A。）

所以我們盡可以想像有這樣一種文化，他們的子民間只用「A」這一個文字交流，這個字既包含了宇宙萬物，卻又什麼也表達不了。每天從早說到晚只有這麼一個字，誰也聽不懂誰說了什麼，誰也說不明白想要說的事。。。

這樣的文字系統——顯而易見，是註定出現不久就會被淘汰的。

========================================================================

正文部分結束，下面討論一下評論中大家的觀點，以及其他一些。。。

1.只用「A」也能組成各種含義，比如「AA」表示「你」，「AAA」表示「呱」。

我也考慮了這種情況，但就算通過不同數目∞的組合來表示不同含義，每個單獨的含義間還是要有分隔符的，例如

AA / AAA / A / AA
AAA / A / AA / AA

這兩種都是8個A，但內容肯定不同（姑且這麼認為吧），所以這樣一種文字系統已經不是單獨的A構成，而是A和分隔符兩個字元所構成。

大概可以抽象視為「0」、「1」。

2.好多答案只是單純在造句，你們這個樣子是不行噠！

題主問題是

有沒有比拼音文字的信息熵更低的文字呢？如果有，會是什麼樣子？

先不論題主對信息熵的概念理解如何，題目本身問的是另一種文字形式，再怎麼用中文造句，中文的信息熵都是 9.65 bit。因而句子本身只能傳達出說話人的語言表達能力如何，無法反應文字本身的信息熵。

3.不少人是Morse Code的擁躉，我們不妨估計一下這個系統的信息熵。

它包括5種代碼（摘自wiki）

點(.)
劃(-)
每個字元間短的停頓（在點和劃之間的停頓）
每個詞之間中等的停頓
以及句子之間長的停頓

所以它的信息熵最大值 $H(x)=log_{2} 5approx 2.32bit$ ，考慮到使用頻率的不均等，我們最終可以認為Morse Code的信息熵在2左右。

BTW，二進位代碼「0」「1」系統的信息熵，大家不妨自己一算。

不妨讓我們從漢字開始，一步步找到一種信息熵最小的符號表達系統。

首先要明確題主的問題，根據描述以及描述中給出的相關問題，我對這個問題的理解是：能否找到這樣一套文字系統（符號系統），使得和其他符號系統相比，要想表達相同的含義，這套符號系統所需要用到的符號個數最多。

然後再來明確一下信息熵，這一點我認為 @銅銹銹已經解釋得很好了，這也是我這個答案中唯一用到的公式，我也會盡量用通俗的語言說明它。

$H(x)=-sum_{i=1}^{n}{p(x_i)log_bp(x_i)}$

關於這個公式的說明（不想看或者看不懂可以跳）：

H(x)為信息熵，我們的目的就是讓它儘可能小；

n為這一套符號系統中擁有的符號種類的數量，例如對於英語來說，忽略大小寫的話（大小寫不太影響表意），每個字元可能為a,b,…,z以及空格，至少27個字元，所以英文的n為27。如果要考慮標點符號的話，n可以取得更大一些；

$x_i$ 表示這是第i個字元，例如我們可以規定 $x_1$ 為『a』， $x_2$ 為"b』等等…當然也可以換個順序，不過不會影響熵的計算結果；

$p(x_i)$ 則表示該符號出現的概率，還拿英語舉例子，"e"這個字元明顯要比"v"出現的多得多，所以對應的概率也會大一些；

b是對數的底數，可以簡單理解為得出的這個熵的量綱，取多少不本質，一般取2。

那麼要想讓熵小的話，需要什麼呢？根據這一個公式，得出的結論是有如下方法：

方法一：符號種類數量越小，信息熵越小
方法二：各符號出現的概率越不均等，信息熵越小
=============================================================
OK，我們現在開始尋找一種信息熵極低的符號系統。
首先，對於漢字來說，符號種類即漢字個數，我們光常用字就三千多個，這是在是太大了，難怪漢字言簡意賅。

不行，我們需要一個n更小的符號系統。

於是我們把n逐漸減小，尋找到了韓文、日文……英文。這時已經只有27個符號了。然後我們發現英文果然比中文啰嗦了很多。。。

既然n越小熵越小，那我們不如一步到底吧！！

好，那我們讓n=0。

我們得到了一個沒有任何符號的符號系統。
坑爹呢這是！！！！
既然零不行，那麼我們讓n=1。於是我們得到了一種新的文字系統，這種文字系統只有一種文字，簡直碉堡了！接下來讓我們用這種文字講一個故事：

燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙

嗯，果然很長。

可是這真的可以嗎？如果我們把n=1代入到公式中，會發現其實H=0，也就是說這種文字系統無法攜帶任何信息。因為不管什麼信息用它表示出來都是這一種符號。（也許有人會說燙的個數可以用來表達，其實並不能，詳見n=2）

那麼我們再讓n=2。

好，我們擁有了兩個字元：」燙「和」屯「。

顯然n=2是可以的，因為把摩斯電碼寫下來就是一種n=2的文字系統。或者我們可以把空格到z編號為0到26，用他們的5位二進位來表示。如a為燙燙燙燙屯，k為燙屯屯燙燙，……

=============================================================

好，我們已經把n壓縮到極限了，方法一不再能使用，接下來只能從方法二繼續下手了。

方法二：各符號出現的概率越不均等，信息熵越小

現在我們的語言有兩個字元，而且出現的概率相差並不多，考慮到從27到31我們沒有編碼，和字母本身出現的概率不均勻，可能」燙「比」屯「出現的概率要略微大一些。

不行，兩個概率還是太接近了，不如我們讓1出現的概率為0吧！！

燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙燙

看來不能為0，那麼就讓其中一個符號出現的概率非常接近0，另外一個非常接近1不就行了？

沒錯！現在我們假想這樣一種語言，它擁有兩個符號：」燙「和」屯「，但表示0到26的不再是二進位編碼，而是兩個」屯「之間」燙「的個數。這也是n=1的情況不行的原因，因為在」燙「之間必須要有其他什麼東西進行劃分，才能讓我們分清楚究竟有幾個」燙「。

所以bad這個單詞可以寫成001010000（我還是用0和1吧…），而且我還可以用這種文字寫出更長的話：

000000000000000010000000000001000001010000000000000000000100000110001000000000000100000000010001000000000001101000000010000000000000000001000001000001

嗯，果然又長了。

=============================================================

接下來讓我們來比較一下這些語言。

中文：你好（2個符號）

英文：hello（5個符號）

二進位1.0版：01000 00000 01100 01100 01111（25個符號，註：空格僅為看得清楚，實際上並無空格）

二進位2.0版：00000000100000100000000000010000000000001000000000000000（50個符號）

我們已經把兩個符號就能表示清楚的意思變成了50個符號才可以表示了！如果繼續讓1出現的概率更小的話，這個值還可以提高！

=============================================================

那麼，還可以從其他方面繼續改進嗎？

我們還可以引入冗餘。

通俗來說，冗餘就是一些並無意義的編碼。例如對於二進位2.0版，我們可以規定隔開那些0的不是1個1，而是10個1，這樣的話，諸如001010000這種序列就不再有實際含義，相當於一個本來能表示某種含義的序列被浪費了，所以要表示同樣多的含義就需要更多的符號。

這樣即使1的概率變得比之前都要高，即使bad這樣一個簡單的詞，都會變成：001111111111011111111110000（27個符號）。。。如果把10個1改成1000個1就更多了，這種冗餘的引入其實可以說是無窮無盡的，要多少有多少！！0000011111111110000000000000000000000001111111111000111111111100000000011111111110000000000000000000011111111110000011111111110000！！！！！

本來這個問題我是第二個關注的人，結果等我刷完兩集南方公園之後來看，我只有一句話可以說：

I feel so sick.

這個問題下的回答終於正常點了，把那句氣話刪了。說真的這就是我有時候覺得「冷門話題還是冷門一點吧」的原因。

題主所說的information entropy，也就是信息熵，我查了一下定義，感覺題主的理解和實際定義差得有點遠。涉及到香農定理什麼的之類的東西我一概都是腦殘的，所以我就不從信息學討論了，罵題主的任務交給各位處理。不過，題主的心意我領到了：有沒有一種人類可以搞定的文字系統——而不是文字表達方式——比起全音素拼音文字來，在表達同等信息量的時候需要更長的字元串（而不是更大的字符集）？如果有，它可以是什麼樣子的？

我的回答也基於這個問題展開。

語言不等於文字；題主所問的「文字」，實際上也指的是用來記錄語言的文字系統，而非實際書寫的文段。有時候我真的懷疑，不明白這些基礎問題，到底有沒有能力來繼續討論，但是既然有人不怕丟臉，那我自然也不用給他們什麼臉了。

那麼我們今天來談談自然語言的書寫系統吧，我並不是文字類的專家，甚至可以說我對書寫系統的理解只停留在我們這邊本科一年級學生的層次，但還是那句話：這裡的高地，我們不佔領，別人就要來佔領。我不希望把這個世界交給只會抖機靈的人。

這裡討論的「文字」，是指代表自然語言的、人類可以不藉助其他設備正常閱讀的（也就是排除了Base-64編碼之流的）書寫系統。它不一定需要表音，也未必需要表意。理論上，一種語言可以以幾種完全不同的書寫系統表示，比如說漢語就可以以作為語素文字的漢字、全音素文字（alphabet）的西里爾字母、輔音音素文字（Abjad）的阿拉伯文字寫出來，分別是我們日常閱讀的中文漢文、東干文、小兒錦。我們今天討論的「文字」，也都在這個範圍內。

現有的書寫系統，以表達語素（morpheme）、表達音節（syllable）和表達音位（phoneme）三種為主，前者通常稱為語素文字（Logogram），後兩者則統一被稱為表音文字。而在音位表達下，也有選擇表達語言中所有音位、輔音為主母音為輔、僅表達輔音等不同的區別。

如果稍微接觸過一點基礎語言學的話，就會意識到，表示不同的音位，基本已經是語言表達的極限了，畢竟音位是語言中區分表意的最小單位，所有比音位更小的差別都可以反映到音位的變化上。所以，想找出比全音素文字信息量更低的文字構造，並沒有什麼實用意義。但是這不妨礙我們去幻想一下。

比音位更小的單位，就已經喪失了直接表意的能力，必須完全表音，甚至表達比音位更小的差別。有沒有這樣的東西呢？可以有，而且我還真想到了一個可能的符號系統，那就是語音學裡的parametric diagram。這玩意兒滿足「代表自然語言」、「不藉助其他設備閱讀」的兩個條件，而且它還是二維展開的，雖然難學，但一定學得會。請看：

就是這玩意兒。

大平行線代表對應的腔體完全打開，小平行線代表腔體打開但有所收縮，閉合直線代表腔體封閉，曲線代表震動。也就是說，這個圖的每一部分，實際上是在教你在發音的時候，口腔的每個部位做什麼動作。它的讀法是這樣的：

1. 雙唇打開，軟齶上升，舌頭後部頂住軟齶，聲帶振動；

2. 雙唇依然打開，舌頭後部鬆開軟齶，前部上卷導致口腔前部腔體收縮，聲帶繼續振動；

3. 雙唇打開，舌頭捋直，聲帶振動，氣流正常通過；

4. 雙唇閉合，放下軟齶，聲帶還在振動；

5. 雙唇閉合後突然打開，軟齶升起，聲帶停止振動。

好，這是一個詞，grump。

這套系統的每一個符號所表達的，並不是一個音位，而是一個口腔動作，因此，必須要多個符號組合才能表達出一個音位來。而這個系統必須表達出所有的音位，才能組合成一個完整的單詞。所以如果能以parametric diagram為基準、形成一套完整的文字的話，那麼它的信息熵應該會明顯低於現有的全音素文字；如果將其以一定方式橫寫的話，就和我們現在習慣的文字系統很相似了。

我稍微寫一下，可能會是這樣：

二二一一～二＝二一～二二二一～一二二二～一二二一?

而且，這套系統不需要任何的輔助工具，你不需要一個程序來專門分析它的編碼是什麼，只要按照符號的提示去動嘴，自然就可以讀出語言，而且，理論上來說，它可以表達任何不需要聲調的語言。

這是我在書寫系統方面能開的最大的腦洞，大概就是這樣了。接受專攻文字方面的朋友來敲打。

p.s.關於摩爾斯碼和parametric diagram的一點小想法。

摩爾斯碼、二進位碼、ASCII code乃至盲文，在我個人看來，是alphabet系統的一種轉寫形式。我們可以有兩種不同的方式去看待它：要麼認為一個組合，比如「-.-.」，是一個字；要麼認為摩爾斯碼一共只有兩個字，那就是-和.。如果是前者的話，那麼摩爾斯碼和實際的alphabet系統沒有任何區別，只是寫起來長了點而已；但如果是後者的話，它的信息密度將大大低於alphabet系統。

而parametric diagram本身，也是一種特別的alphabet系統的轉寫模式，但是比起摩爾斯碼來說，它不基於任何已有的字符集，而是單純記錄語音的發生，所以它可以算是一種獨立於alphabet系統的符號。不過，如果我們真的在實際應用中長期使用parametric diagram的話，它可能也會很快坍縮成alphabet系統的特別形式——也就是國際音標，那個時候，我們把每一組diagram看成一組摩爾斯碼那樣的文字，那麼它也就和現行的alphabet系統沒有任何區別了。

【毛新宇將軍談教育語錄】（教你在兩分鐘內不斷說話、卻什麼也沒說）

代課教師我想提啊，剛才我那個，後來那個，我秘書給我看了，我想啊，引申一下，這個代課老師，我想，在，這，這，我想，就是，也不是繞開什麼，我想講，側重講這麼一個，就是說現在這個代課老師，現在我們國家的這個，談到教育這個教，教師隊伍我覺得，有一個很重要的一個部分，叫做民辦教師，就是民辦教師嘛，這個怎麼說呢，我考慮到，觀察了很久，這個民辦教師，民辦教師呢，怎麼說呢，他還，民辦教師他從，我認為啊，咱們說從嚴格意義上，他不算是正式國家承認的教師，他是，就是說，他也是受，這個民辦教師，他的這個，當然他的這個教學質量，他的這個素質他肯定不如這個，正式師範的這些東西，當然這個民辦教師，包括你說的這個代課老師，這個問題確實成為一個，教育部門的一個大問題，就是說，首先就是說這個，將來，我，我，我啊，教育問題，我是從內心裡希望，很多的這個，我希望大量的這個民辦教師，能夠通過提，努力，自己的努力，刻苦學習，誒，能夠提高自己的水平，希望很多的民辦教師，能夠成為優秀的正式教師，這個除了民辦教師，這個，制約我們這個教育以外，我覺得現在大，大家普遍反映的就是說，不要光說是民辦教師了，就是我們這個正式的，師範出來的老師，的這個文化素質，和這個教育水平也是有待於提高的。

從別的網上複製的，看到這個題第一個想到的就是這段話。

待這個問題沉寂下來以後再回顧一下，可以發現最早的提問中使用「信息熵」這種說法其實純粹是為了提升逼格，這個問題完全可以轉換為：

如果要求一種文字使用的字元數儘可能少，那麼這種文字會是什麼樣？

信息熵的定義和計算實例已經由 @銅銹銹很好地給出了，可以看出，一種有 $x_i$ 個字符集的文字，其信息熵（以比特計算）應為

$-sum_{1}^{x_{i}}{p(x_{i})log_{2}(x_{i})}$

在每個字元出現幾率相等的情況下，即簡化為

$log_{2}(x_{i})$

即字元數以2為底取對數。由於每個字元出現的頻率不一樣，實際運用中的文字的信息熵一般比這個值小，具體小多少還需要進行字頻分析。但是，從現實中存在的各種文字來看，由於字頻不同造成的信息熵減小，遠不如字元數增多引起的信息熵增加來得顯著。

比如法文的信息熵為3.98 bit，西班牙文為4.01 bit，英文為4.03 bit，由於這三種文字均使用基本的拉丁字母表，字元數（算上空格）一般在27個，故信息熵十分接近。（考慮到法文和西班牙文還會多é、 $ilde{N}$ 這樣的字母，理論上信息熵還會比英文大一點，實際反而較小，可能就是字頻更集中造成的了）。至於俄文，由於使用了西里爾字母表，加上空格是34個字元，理論信息熵應是 $log_{2}(34)$ =5.09 bit，明顯高於英文的理論信息熵4.76 bit，即使由於字頻不同造成實際信息熵下降後，也還有4.35 bit，字元數的增加引起信息熵的增加已經開始顯現。當然更不要提有幾千個字元的中文了。

所以，問一種文字的信息熵高低，從大的角度來看，實際上就是問這種文字的字元數有多少。

那麼回到最開始的問題——信息熵極低的文字會是什麼樣的？

根據上面的結論，這首先要求這種文字包含的字元極少（或者字元雖然較多但字頻極度集中，這和只有那幾個極高頻率的字元沒什麼區別），於是大部分答案會想到摩斯電碼，或者二進位的機器語言。不過，當字元少到只有2個的時候，字頻的差異對信息熵的影響就變得顯著了——@石雨的答案甚至提議了增加冗餘的辦法，這樣可以使得信息熵無限趨近於0。

……但是，能不能更給力一點，讓信息熵就是0呢？

為了讓信息熵嚴格等於0，根據公式，這種文字只能有一個字元——使用這種文字的文明大概可以叫做造字會死星人，而且不妨假設，造字會死星人是如此厭惡設計新字形，他們使用的唯一字元也儘可能地簡單——就是一個點「 · 」。

那麼書面交流要怎麼進行呢？造字會死星人還可以通過打不同數量的點來表達不同的含義，比如1個點=我，2個點=你，如此等等。

但是，在表達複雜一點的含義時就會出現問題，譬如某個造字會死星人要請他的鄰居吃飯，只需要給鄰居留「我請你」這樣簡單的字條，假設「請」字是15個點，那麼這張字條寫出來應該是這樣的

··················

連續的18個點，但是這樣又和「你請我」的寫法完全一樣了，鄰居無法確定究竟是誰請誰；更糟糕的是，如果他們的文字系統當中用3個點表示「是」，用13個點表示「SB」（正好符合上海方言的十三點），那麼這張紙條可就成了一句罵人話了。

「但是，加上空格不就可以把每個詞分開了嗎？」

實際上不行，因為空格也可以看作是一個新字元。對於造字會死星人來說，引入「·」之外的新字元是無法容忍的，因為這將破壞信息熵為0的完美狀態。所以，這裡需要這樣一種演算法，使得對於一張打滿了點的紙條，只要我們能數清上面有多少個點，就能唯一地確定這堆點表達了什麼樣的含義。

符合這種要求的演算法……幸好有個叫做哥德爾數的東西。

我們可以這樣為造字會死星人設計文字系統——假設造字會死星人在書寫時也使用拼音文字的方法，而且用不同的點表示不同的字母；而且假設他們的字母表也正好和拉丁字母表類似，有27個字母——呃，我沒說錯，為了能區分開詞與詞，不造成混淆，還得加入「空格」這個特殊字元。

「但是，不是剛剛說了不許加入空格嗎？」

因為在這個方案里，空格也被用1個點來表示了，而後a=2個點，b=3個點，以此類推，直到z=27個點，以上是該方案的準備工作。

接下來，造字會死星人還得準備一張從2開始的依此排列的素數表，表上有多少素數取決於他們這段信息要寫多長——反正使用篩法能夠毫無遺漏地找到任意一個素數，而且素數有無窮多個，不會用完的。

假設某個造字會死星人想寫一張含義相當於「I can do」的字條，他需要先做這樣一番計算來決定自己要打多少個點：

為這句話中的每一個字元（包括空格）給予一個序數，從1開始，於是得到下表：

再找到每個序數n對應的「第n個素數」，得到下表：

接下來，對第n個字母，採用第n個素數為底，以點數為其指數求乘方，於是得到下表：

最後把所有的乘方連續乘起來就是最後他需要打的點數，雖然有點多：

$2^{10} imes 3^{1} imes 5^{4} imes 7^{2} imes 11^{5} imes 13^{1} imes 17^{4} imes 19^{16} approx 1.237 imes 10^{50}$

……但也還是個有限的數不是？好吧，假設不造字會死星人計數能力超強（而且壽命也超長，你懂的）絕對不會打錯，天生就具備一眼看出這堆點有多少的能力，那麼收信方收到這一堆點之後要如何明白對方想說什麼呢？只需要對這個大數做分解質因數的操作就行了，而且這個操作應該比打點快很多。

根據算術基本定理，每個大於1的自然數均可寫為素數的積，而且這些素因子按大小排列之後，寫法僅有一種方式。這樣他就可以還原出最早的那條信息了。

……

…………

這實在是有夠蛋疼。往下甚至還可以開更多的腦洞：

如果他們一直恪守造字會死的教條，那麼，由於對質因數分解是如此的熟悉，而且為了書寫足夠長的信息他們也準備了足夠大的素數表，因此對篩法一定也已經滾瓜爛熟——那麼他們很可能在誕生文學之前就已經證明了哥德巴赫猜想。

不過為了把哥德巴赫猜想的證明過程寫出來（可以想像那是多麼長的一篇文章），他們發現，即使把星球上的每一個原子都看成一個點，用來書寫這篇論文，也還是不夠。

為了表達這種憤怒之情，他們連續打了17374170348794790576360000個點。

假設以漢字作為 token，請腦補以下三種文字系統（已經不是中文了），表達一個常見概念時編碼類似這樣：

信息熵低：「何厚鏵紅紅火火恍恍惚惚嘿嘿吼吼」

信息熵中：「哈哈哈」

信息熵高：「蛤」

請注意信息熵的大小和單個概念的表達沒有必然聯繫，第三種文字系統並不是只有「蛤」一個字，只是從統計意義上說冗餘低。否則從這個短短的語料來看，第二第三種的信息熵都是0。

　　緊緊圍繞黨員幹部受教育、科學發展上水平、人民群眾得實惠，把科學發展觀落實到政法、綜治工作的具體實踐中

　　學習實踐科學發展觀活動動員大會上講話

　　一、開展學習實踐活動事關XX未來發展，必須作為一項重要而緊迫的政治任務抓緊抓好

　　黨中央作出在全黨開展深入學習實踐科學發展觀活動的戰略部署，是用馬克思主義中國化最新成果武裝全黨的重大舉措，是適應國內外形勢的深刻變化、推動經濟社會又好又快發展的迫切需要，是提高執政能力、保持和發展黨的先進性的必然要求。我們必須深刻認識開展學習實踐活動的重要性和緊迫性，切實把思想統一到中央和省委的決策部署上來，以對黨和人民高度負責的精神，認真組織和開展好學習實踐活動。

　　要深刻認識到，開展學習實踐活動表明了我們黨堅定不移走科學發展道路的堅強決心，必將在更高層次上推動科學發展的偉大實踐。科學發展觀是馬克思主義中國化的最新理論成果，是我國經濟社會發展的重要指導方針，是發展中國特色社會主義必須堅持和貫徹的重大戰略思想，是引領未來發展的行動指南。不論宏觀經濟形勢如何變化，我們必須堅持科學發展的思路不動搖，堅持科學發展的方向不動搖，堅持用科學發展觀統領經濟社會發展全局。背離科學發展觀的要求，資源將難以支撐，環境將難以容納，要素將難以保障，發展將難以持續，人民根本利益將難以維護，我們的未來就沒有出路。在當前宏觀經濟形勢發生深刻變化的條件下，要有效應對各種挑戰和風險，破解發展面臨的深層次矛盾和突出問題，把握髮展的主動權，更加迫切要求我們堅定不移走科學發展道路。中央作出開展深入學習實踐科學發展觀活動的戰略決策，就是要集中時間、集中精力，對科學發展觀進行一次大宣傳大普及，對幹部群眾思想觀念進行一次大解放大轉變，對各級領導班子和領導幹部能力素質進行一次大培訓大提高，對實現科學發展進行一次大動員大推進，集中解決一批影響和制約科學發展的突出問題，把全社會的發展積極性進一步引導到科學發展上來，為實現科學發展奠定堅實的思想基礎、工作基礎、政治基礎和組織基礎。

　　要深刻認識到，開展學習實踐活動為我市提供了一次實現後發趕超的寶貴機遇，必將成為我們在科學發展道路上奮勇前進的強大動力。近年來我們始終堅持用科學發展觀統一黨員幹部思想，指導工作實踐，我們的每一個進步、每一點變化，都是學習實踐科學發展觀的結果。實踐使我們深刻體會到，發展是解決XX一切問題的關鍵，科學發展觀則是推進XX更好更快發展最強有力的思想武器。對於XX而言，發展慢會被邊緣化，發展不科學同樣會被邊緣化，堅持以科學發展觀為統領，是我們實現富民強市目標的必然選擇，是我們搶抓新機遇、打造新優勢、樹立新形象、奪取新勝利的重要前提。特別是在當前發展格局重大調整的形勢下，我們只有按照科學發展的正確方向加速調整，才能少走彎路，以更小的成本縮小與先進地區的差距，才能形成後發優勢，實現趕超跨越。客觀地講，雖然近年來我們在學習實踐科學發展觀上取得了一定成效，但還遠遠不能適應新形勢新任務的要求，一方面，一些不符合科學發展觀要求的突出問題亟待解決，突出表現在發展不充分，總體上仍就是總量少、實力弱、速度慢、效益差；發展方式粗放，產業結構不合理、優勢發揮不充分、科技貢獻率較低、創新能力不強、市場主體活力不足；發展不平衡，社會事業欠賬較多，人民生活水平不高，一些關係民生的重點難點問題尚未很好解決，一些地方特別是貧困地區的農民增收緩慢、扶貧任務較重，這些問題在當前深刻變化的形勢下暴露得更為充分。另一方面，一些違背科學發展觀要求的問題時有發生，過度消耗資源、犧牲環境、影響社會和諧穩定的現象還不同程度地存在。特別是去年發生的XX縣XX煤礦特大礦難瞞報事件，集中暴露出我們少數幹部在貫徹落實科學發展觀上，不自覺、不堅決、不全面、不徹底，沒有真正做到以人為本，對關係群眾生命安全的重大問題麻木不仁；沒有完全把安全生產、環境保護、資源節約、發展方式轉變等事關科學發展的重大問題放在應有的工作位置，客觀上縱容了私挖濫采、破壞資源等行為，甚至以權謀私、貪贓枉法，對國家和人民生命財產安全造成了巨大危害，在全社會造成了極其惡劣的影響，教訓極為深刻。開展深入學習實踐科學發展觀活動，就是要對各方面工作進行一次「全面會診」，對我們存在的突出問題進行集中整改，切實把各項工作納入科學發展的軌道上來，從而打造XX新的競爭優勢，努力搶佔未來發展的制高點。

　　開展學習實踐活動搭建了加強理論武裝的重要載體，必將為全市各級黨組織執政能力和先進性建設注入新的活力。執政能力建設和先進性建設是黨的建設的一條主線。在新的形勢下，提高執政能力，保持和發展黨的先進性，歸根結底就是要深入貫徹落實科學發展觀。黨員幹部的先進性主要體現在能不能自覺踐行科學發展觀，領導幹部的執政能力主要表現為領導科學發展的能力。應當講，我們各級黨組織和廣大黨員幹部主流是好的，是堅強有力、奮發有為的。但也確有一些黨組織的領導能力和改革創新能力與經濟社會發展要求不完全適應、不完全符合，一些黨員幹部的思想觀念和能力素質與黨的先進性要求不完全適應、不完全符合。尤其是少數黨員幹部宗旨意識、大局意識淡薄，事業心、責任心不強，工作不投入、作風不紮實，在黨性、黨風、黨紀方面還存在不少問題，貫徹落實科學發展觀的自覺性、堅定性不強；少數黨員幹部學習還不到位，認為「學過了」、「差不多」，滿足於一知半解、淺嘗輒止，有的學用脫節、知行不一，沒有把科學發展觀真正落實到實際工作中，體現在具體行動上；少數黨員幹部思想觀念落後，創新精神不足，領導科學發展的素質不高、辦法不多。開展學習實踐活動，就是要集中解決好這些突出問題，進一步激發廣大黨員幹部推進科學發展的政治熱情，使各級黨組織和廣大黨員幹部轉變觀念、提高素質，增強能力、改進作風，真正成為貫徹落實科學發展觀的組織者、推動者、實踐者。

　　中央和省委對XX推進科學發展給予了極大關注，在第一批學習實踐活動中，我市XX縣榮幸地成為中央政治局常委的聯繫點，這是我們莫大的政治榮譽，更是我們開展學習實踐活動的強大動力。珍惜這份榮譽，組織好、開展好我市的集中學習實踐活動，不斷放大XX試點工作成效，既是我們的責任，更是對我們政治意識和工作水平的一次現實考驗。XX開展試點工作後，我們及時提出了「放大試點效應、提前預熱升溫」的要求，主動在全市組織開展了一系列學習實踐活動，深入推進思想解放，狠抓幹部教育培訓，利用「四個徵集」載體積極查找不足，廣大黨員幹部對科學發展觀的認識明顯提高，科學發展的意識進一步增強，科學發展的氛圍更加濃厚，在進一步完善科學發展思路、制定科學發展的政策措施、解決影響科學發展的重大問題上取得了積極成果，為我們集中開展學習實踐活動奠定了良好基礎。我們必須乘勢而上，充分借鑒XX試點經驗，以更高的標準、更好的質量，紮實開展好學習實踐活動，努力使全市的科學發展水平得到新提升，以優異的成績回報中央、省委的信任和重託。

　　二、準確把握工作著力點，不斷把學習實踐活動推向深入

　　組織開展我市的學習實踐活動，要在省委指導檢查組的指導幫助下，按照中央和省委的總體部署和市委《實施方案》中提出的具體要求，緊緊圍繞黨員幹部受教育，科學發展上水平，人民群眾得實惠的總要求，牢牢把握提高思想認識、解決突出問題、創新體制機制、促進科學發展四個著力點，堅持提高認識與提高能力相結合、解放思想與解決問題相結合、轉變觀念與轉變作風相結合，努力實現樹立新理念、彰顯新優勢、建立新機制、塑造新形象、實現新跨越的目標。在活動的具體推進過程中，要重點做到「五個一」。

　　要圍繞一個主題，即「轉變發展方式，提升經濟質量，創優區域特色，推動科學發展」。轉變發展方式，就是大力提升傳統產業層次，提高新興產業比重，積極培育符合科學發展要求的優勢產業，堅決淘汰「兩高一低」的落後產業，提升發展的活力、實力、競爭力。提升經濟質量，就是更加重視結構調整和產業升級，更加重視科技進步和自主創新，更加重視節約資源和保護環境，更加註重統籌城鄉區域發展，努力實現更長時間、更高水平、更好質量的發展。創優區域特色，就是立足我市實際，運用科學發展理念進一步優化提升傳統優勢，積極發掘培育新的後發優勢，進一步彰顯區域特色，努力提升核心競爭力。推動科學發展，就是真正在全市上下形成科學發展的鮮明導向和濃厚氛圍，努力實現科學發展上水平。這四句話，推動科學發展是我們的核心目標，轉變發展方式是推動科學發展的關鍵舉措，提升經濟質量是推動科學發展的必然要求，創優區域特色是推動科學發展的基本路徑，共同構成了我們推進更好更快發展，實現富民強市目標的主體戰略。確定這樣的主題，就是要進一步引導廣大黨員幹部在事關XX科學發展的重大問題上進行再認識、形成新共識。必須把這個主題作為貫穿學習實踐活動全過程的載體，整個學習實踐活動和每個環節、每個步驟都要緊緊圍繞這個主題、體現這個主題、服務這個主題來展開、來推進，打造XX科學發展的新優勢。

　　要夯實一個基礎，即加強理論武裝。實踐科學發展觀，首先必須真正理解、掌握科學發展的深刻內涵，樹立科學發展的理念，沒有科學發展的理念，就不會有科學發展的行動和舉措。確保學習實踐活動取得實效，必須加強學習。學習的過程中，領會精髓要深刻，完善各級各類學習制度，豐富學習內容，採取個人自學、集中培訓、領導講課、專家輔導、專題研討等多種學習方式，運用以查促學、以考促學、以評促學等各種有效手段，促使各級領導和廣大黨員幹部真正靜下心、鑽進去，全面地而不是片面地、準確地而不是模糊地、系統地而不是零碎地理解和掌握科學發展觀，真正學懂弄通、學深悟透。結合實際要深入，按照調研周的要求，帶著問題，深入基層、深入實際開展調研，運用科學發展觀所體現的立場、觀點和方法，對全市經濟社會發展階段性特徵進行認真分析，對事關全市科學發展全局重大問題進行重新認識，對如何應對挑戰、搶抓機遇，保持經濟平穩較快發展進行深入思考，努力把科學發展觀轉化為推動科學發展的堅強意志、謀劃科學發展的正確思路、領導科學發展的實際本領、促進科學發展的政策措施。思維創新要深化，在更大範圍、更深層次上繼續推動推進思想解放，緊緊圍繞快速推進和落實市委、市政府各項決策部署來解放思想，圍繞破解發展難題來解放思想，堅決拋棄不適應、不符合科學發展要求的思想觀念，實現發展理念由片面追求經濟增長向注重經濟社會全面發展轉變，由單一重視經濟規模向實力、活力、競爭力並重轉變，由單純依靠資源、能源消耗向依靠科技進步、自主創新轉變，積極破解科學發展障礙的新途徑，符合科學發展觀的事情就要全力以赴地去做，不符合的就要毫不遲疑地去改，在謀劃思路、制定政策、推動工作中，始終把握好以人為本的方針，矢志不渝地走全面協調可持續的發展道路，真正樹立起科學發展的新理念。科學發展觀內涵極其豐富，切實掌握這一思想理論武器，必須反覆學習領悟、不斷深化認識，要把學習貫穿到整個活動的全過程，不斷引向深入。

　　要突出一個核心，即解決突出問題。學習實踐活動的深度關鍵取決於解決問題的程度，問題解決得越好，成效越明顯，發展水平越高，人民群眾越滿意。問題不解決，活動就很有可能走過場。解決問題，既是學習實踐活動的重要內容，更是衡量學習實踐活動取得實效的重要標準，必須把解決突出問題作為學習實踐活動的核心環節，在聯繫實際、務求實效上狠下功夫。解決突出問題，真正找准問題是前提。要以「五對照、五查找」活動為抓手，採取專題民主生活會、個別訪談、問卷調查等多種形式，通過上級點、群眾提、自己找、相互評等多種渠道，實事求是地查擺問題，真正把存在的問題找准、找實、找具體。特別是各級黨政領導，要真正把自己擺進去，深刻進行剖析，敢於自我揭短。解決突出問題，真正聚焦重點是關鍵，通過一次活動不可能把所有問題徹底解決。要善於歸納提煉、聚焦重點，對查找出來的問題進行認真梳理篩選，由表及裡地剖析根源，舉一反三地反思差距，把整改主要方向集中到解決影響和制約科學發展的突出問題上來，解決黨員幹部黨性黨風黨紀方面群眾反映強烈的突出問題上來。絕不能以一般性、表象性的問題取代甚至掩蓋深層次的矛盾和問題，同時也不能因為強調聚焦重點而對一般性問題置之不理。解決突出問題，真正落實到位是目的。結合開展「主動出擊、破解難題」集中攻堅行動，對查找出來的問題，分清輕重緩急和難易程度，健全責任機制，明確整改標準，緊盯不放、一抓到底，對於目前能夠解決的問題，要不等不靠，立即解決；對於條件不成熟、一時解決不了的問題，要積極創造條件，逐步解決；對於涉及面廣、靠單方面難以解決的問題，要加強協作，合力攻堅，共同解決；對於需要上級部門解決的問題，要積極反映，爭取支持，配合解決，使人民群眾和基層部門真正感受到學習實踐活動帶來的新變化和新氣象。

　　要強化一個保障，即創新體制機制。制度不完善、體制機制不健全是導致發展不科學的主要根源。從根本上保證科學發展觀全面貫徹落實，創新體制機制至關重要。要從解決問題中突破，努力在分析問題中深入查找體制機制根源，從制度上尋找解決問題的途徑和辦法，及時將解決問題的成功做法和成熟經驗上升為制度層面的成果，建立健全各方面的規章制度，剷除發生不符合科學發展觀要求行為的土壤。要從全面清理中規範，對現有的規章制度進行認真系統的清理，該廢止的及時廢止，需要完善的及時修訂完善，對當前急需、條件具備、可以出台的政策和制度要抓緊研究、儘快出台，力爭在活動期間出台一些影響廣泛、上下期盼的政策制度。特別是要按照省委要求，切實加大以項目審批為突破口，加大行政審批制度的改革力度，努力取得一批制度成果。要有敢破敢立的精神。創新體制機制，必然會觸及各種深層次矛盾和問題，必然會有難度，必然會遇到阻力。這就要我們把大膽探索的進取精神和嚴謹求實的科學態度很好地結合起來，對制約科學發展觀長效落實的制度，要敢於直面矛盾，打破思想禁錮，勇於自我革命，動大手術、做大調整；對事關推動科學發展的重點制度，要認真進行研究論證，最大限度地吸納各方面的意見和建議，加強相關制度的協調銜接，積極穩妥地予以推進。通過體制機制的創新，逐步形成學習實踐科學發展觀的長效機制，使學習實踐科學發展觀制度化、規範化和經常化，不斷鞏固和擴大學習實踐活動成果。

　　要重視一個保證，即轉變幹部作風。幹部的作風決定科學發展觀的落實，沒有良好的作風，落實科學發展觀就難以得到有效保障。作為第二批活動的重點，我們市縣兩級黨政領導幹部處於經濟社會發展的前沿和基礎地位，是中央和省委決策部署的重要執行者，改進作風，既是用科學發展觀改造主觀世界的重要體現，也是履行好推動科學發展責任的實際需要。要緊緊抓住黨性修養這個根本。是否正確對待科學發展觀，能否堅定貫徹科學發展觀的要求，根本上取決於幹部黨性強不強，科學發展觀的貫徹問題實質上是一個領導幹部的黨性問題。要進一步加大教育培訓力度，引導廣大黨員幹部按照「講黨性、重品行、作表率」的要求，堅持改造主觀世界與改造客觀世界相統一，切實強化立黨為公、執政為民的宗旨意識，堅定馬克思主義的世界觀、人生觀和價值觀，提升道德水平和思想境界，樹立和堅持正確的事業觀、工作觀、政績觀。要充分藉助作風建設年活動這個載體。當前我們正在按照省委統一部署，深入開展作風建設年活動，這是第二批學習實踐活動的重要組成部分，與學習實踐活動的本質要求是一致的，要把兩項活動緊密結合起來，以學習實踐活動為總攬，以幹部作風建設年活動為抓手，統籌安排，協調推進，引導廣大黨員幹部自覺按照科學發展觀的要求，深入查找黨員領導幹部黨性黨風黨紀方面存在的突出問題，深刻剖析存在問題的原因特別是主觀方面的原因，並將解決幹部作風問題作為整改落實的重要內容。要更加註重實踐鍛煉這個途徑。實踐出真知，實踐增才幹，要把各級幹部推向科學發展第一線，提高駕馭全局的能力，提高領導發展的能力，提高科學管理的能力，提高狠抓落實的能力，真正使各項工作干出業績、干出水平、干出成效，把對科學發展觀的認識，轉化為改進思想作風和工作作風的自覺行動，從而為踐行科學發展觀，奠定堅實的黨性基礎和作風保障，把我們黨的政治優勢和組織優勢轉化為推動科學發展的強大力量。 &<收起

113192293 | 2009-07-05

1+1=2

或者說

1+1=3

原理：

必然事件或者不可能事件的採樣結果，熵等於0（採樣結果所含信息量必定為0，所以期望也是0）。我不知道是不是理解錯了題主的意思，但是上述結論肯定是沒有問題的。

熵可以無窮的大，但是想要小，那就只能等於0了。熵等於0的事件的西格瑪代數，要麼全集要麼空集（不確定性是0，要麼100%對要麼100%錯）。

汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪汪。

140字

首先說明我是學通信的，不是學語言的。

信息熵高的語言，比如漢語，的確具有很多優點，但這並不意味著信息熵很低的語言就一無是處。語言的本質就是用來通信的工具，甚至可以理解為是人與人之間的通信協議，既然是通信，最主要的兩個參考標準就是效率（速率）與可靠性。

資訊理論之父香農曾說過，通信技術的主要矛盾就是傳輸速率與可靠性的矛盾。舉個例子，就是現代的互聯網體系，在信道質量不變的前提下，一味地提升數據傳輸速率，必然會導致信號的失真甚至完全識別不出來。（當然普通用戶不用考慮這一點，通信公司已經盡量地優化了通信質量）

言歸正傳，我們談論的是語言。

英語不夠言簡意賅？那麼請看下面的例子:

if u cn rd ths

u ca gt a gd jb w hi pa!

沒錯這是英語，只不過是精簡過了。原文如下:if you can read this,you can get a good job with high pay!所以，這是一篇招聘廣告。我相信很多人都能翻譯出上面那段話，雖然可能有些吃力。但是這種翻譯並不可靠，因為它在削減字母數量的同時帶來了歧義與失真，我們無法肯定自己翻譯的一定是唯一正確的。

結論就是:我們的語言自帶冗餘性，這種冗餘性是為了減少歧義。

在原始部落或者是古代社會裡，那裡的人們沒有手機和廣播，可是有些部落也有著自己遠程通信的技巧。其中最最笨拙的方式就要屬於烽火了，因為那是單比特的「語言」。好吧，那也許算不上語言。

可是在一個非洲的原始部落里，存在著一種叫做「鼓語」的語言，這種語言不僅可以讓人面對面交流，也可以通過擊鼓的方式傳播出去!這種語言極具韻律性，比如發音相同的兩個詞，但是根據聲調不同，表達的意思就可能會完全不同!擊鼓傳播出去的聲音是將發音的變化刨除，只傳播聲調的變化。但是這樣就造成了極大的歧義性，因此，村裡的鼓手想出了一個辦法，那就是用盡量多的、重複的語言，描述同一件事。比如，正常說話時所說的:「所有男人們晚上到河邊開會。」這樣一句話，到了鼓手通過擊鼓傳播出去時，就變成了:「所有成年的、這個偉大村落里的男性們啊，在黃昏到來之時，在夜幕降臨之際，我們相約到蜿蜒的、流淌著的河流旁邊，共同談論事情。在黃昏之時，所有的男人們都要來，來到那河邊。」就這樣，悠長的鼓聲就從鼓手那裡傳播出去，即使是叢林里時而響起的風聲鳥鳴，也不會對信息的傳播帶來特別大的影響。

可見，這種鼓語信息熵很低，但在原始部落里，已經足夠可靠又高效了。如果讓當時的他們發一條微博，估計也會用這種很冗長的方式吧。畢竟他們不知道，互聯網通信的信道質量，可比叢林里的鼓聲要好的多。

思修，毛概，馬原，以及近代史課本。 —————————————————————

PS:答主無意貶低和抹黑這些理論和思想，只是覺得教科書的拖沓和冗雜是很沒有必要的，以上。

就讓我用這信息熵為9.65比特的語言系統言簡意賅地來回答這道題吧。

首先 @銅銹銹的答案里已經把信息熵的概念講的很清楚了，但其實題主本身是想問：「描述同樣的信息，使用哪種語言系統最為冗長？」卻偏偏引入了信息熵這個概念，而事實上最具大家爭議的要點是，一種自然語言系統的信息熵越高，是否就說明描述同樣的信息它就越言簡意賅？

先來看一下語言系統的信息熵是如何計算的。簡單來說就是列出該語言系統所有使用到的字元，根據一定規模的語料，統計每個字元出現的頻率，再根據香農的信息熵公式算出。當然這只是最簡單粗暴的計算方式，由於語料規模始終有限，除了純統計學還有其他輔助方法計算自然語言的信息熵，這個就是語言學家研究的事了。但得出的信息熵仍然是它本身的含義。

可參考《基於統計的維吾爾文信息熵的估計》

那麼，一個語言系統的信息熵到底是什麼意義呢？通俗地講，是該語言中每個字元轉化為二進位表達平均需要幾個比特。再聯繫它的計算方法，我們不難得出，一個語言系統的字元種類越多，使用頻率越平均，那需要用來表達每個字元所要使用的平均比特數也就越高。

那比特數，或者說二進位表達的意義是什麼，是作為描述信息的一種通用的方式。

前面已經一再強調，我們要比較的是對於同樣的信息，不同語言系統的描述能力。如何定義同樣的信息，我們首先需要一個規範化的信息表達系統，最簡單的就是二進位，然後一切其他語言系統都計算其轉化為二進位的難易程度，才能夠進行科學的比較。

我們來看一看目前流傳的一些統計數據

法文 3.98 比特；西班牙文 4.01 比特；英文 4.03 比特；俄文 4.35 比特；德文 4.10 比特；羅馬尼亞文 4.12 比特；漢語9.65 比特。

就拿英文和漢語比較，它們的統計數據就意味著，每個英文字元，平均可以表達4.03個比特的信息量，每個漢語字元，平均可以表達9.65個比特的信息量。

那假如我們一共要描述含有100個比特的內容，漢語所需要的字元就比英語少了一半之多。這就是所謂的言簡意賅。

總結一下，

一種語言中每個字元轉化為二進位表達平均需要幾個比特，體現了該語言字符集的複雜程度；
確定一種語言中的某個字元平均需要幾個比特，是對該語言字元系統的不確定性的度量；
一種語言中每個字元平均能夠表達幾個比特，體現了該語言每個字元對信息的描述能力。
上述三者皆為信息熵，及其在不同方面所體現的意義。
最後回答一下題主的問題，信息熵最低的語言系統，就是二進位本身。

假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假假裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝裝自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自自己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己己結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結結巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴巴

morse code

就我們所知，有些事情早已是眾所周知的。有些事情我們知道自己知道。我們也知道，有些事情早已是已知的未知。這也就是說，我們現在知道了，有些事情我們其實並不知道。但也有一些事情是未知的未知——這些事，我們並不知道自己不知道。

- -單從文字長短來判斷熵的高低太無趣了啊，現在的網路流行用語都知道「信息量太大」這個說法了。

熵的定義： H(x)= - lb p(x)~bit

所以，這個x的概率越小，熵就越大。

日常生活來說，一句話越讓你吃驚，它的信息量越大。

舉個例子：

loser給女神發消息：

在嗎？

回復1：

去洗澡 (點評：典型的低熵！loser都知道會收到這樣的簡訊，發射概率無限接近於1，熵不到1~bit)

回復2：

今晚10點來我家~莪~等你，嘿嘿

(點評：太尼瑪高熵了，雖然字數比上面的多，但是這回復是loser做夢也想不到的，發生概率1/262144，也就是熵等於18~bit)

有人看過郭敬明的小說嗎？

題主以及大部分知友，能不能先看看書，看看論文，先理解什麼是Entropy 信息（熵），實在懶，能不能維基一下或者度娘一下啊！整得跟民科似的！！！！！！

實在不能忍~！！！！！！！！

H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大.

！！！！！再給你一個名詞，信噪比！！！！！！！！！

題主跟答主根本不在一個頻道…

還有回答三個戴錶的…我覺得三個戴錶的信息熵是正無窮好么……

信息熵＝不確定性

你會發現約精確的文字熵值越低…

熵值遞減：馬＞白馬＞雌性白馬＞一隻耳朵有個豁的雌性白馬＞一隻耳朵有個豁每頓草料吃三斤半老是撩撥隔壁牧場帥馬的五歲四個月的白馬…

題目看似很高的逼格可以總結為：這句話信息量好大………（我逗你的！！信息量也會增加不確定性！！）

〖以下內容可忽略〗

計算

信息熵＝－∑P log2 P

比如扔一個硬幣出現正反面的信息熵是1bit

扔兩個硬幣可能出現情況的信息熵是1.5bit

你和室友猜拳的信息熵3.1699bit

下次再也不爪機打了……

知乎首答，剛好今天接觸了下信息熵，就在這說一下自己對語言中信息熵的理解（如有錯誤，還請海涵並指正）

----------------------------

從歧義、冗餘度、利用率、效率四個方面分別對信息熵高和低的語言進行簡述。

某系統的符號平均符號信息表達量（信息熵）簡記為 Entropy。

1、Entropy越高，表達一條信息，所用的平均符號數就越少，整個句子越言簡意賅。其中每個符號的歧義低，冗餘度低，利用率低，效率高。若世界上信息數一共有A個那麼多，每個符號的冗餘數為m，理論上就要A/m個符號，每個符號的利用率就是m/A。

2、Entropy越低，表達一條信息，所用的平均符號數就越多，整個句子相應啰嗦。其中每個符號的歧義高、冗餘度高，利用率高，效率低。若世界上信息數一共有B個那麼多，每個符號的冗餘數為n，理論上就要B/n個符號，每個符號的利用率就是n/B。。

顯然 A == B， m &< n。

所以

信息熵越高，符號量越多，每個符號的利用率越低，重在去學習哪些符號與哪些信息相對應。

信息熵越低，符號量越少，每個符號的利用率越高，重在學習符號怎麼去組合使用來表達信息，組合的存在使得信息表達的時候顯得符號冗餘。

----------------------------

這裡不嚴謹地舉個例子：表達兩個意思，比如「你去哪」、「來這」。

因為漢語的信息熵高，分別用「你去哪」、「來這」就能表達了。可以看到每個意思裡面都只有兩三個符號，言簡意賅，效率又高（每個字就用了一次便表達出來意思），雖然在這幾個字上體現不出來利用率，但是像「卌（xi 四聲）」這種字，顯然用到的地方很少，利用率低，不過反過來，它表示「四十」的意思，信息量很大。

因為英語的信息熵低，分別用「Where are you going」、「Come here」表達。可以看到是冗餘了不少，單個e o字母就用了多次，效率顯得也低（用了好多次才表達出來），但是它的利用率卻很高,身為26個字母中的一員，在這個很普遍的地方就出現了好幾次。

所以翻譯過來的書一般都比原來的英語原版的薄（只要你字體擴大的別那麼誇張，如果漢字大小和字母大小一樣大，那更薄...）

----------------------------

而信息熵對應的剛好又是計算機裡面的符號表達所需的平均bit理論最低數，你覺得言簡意賅，計算機仍要用複雜的來表示，畢竟1bit代表的意義永遠是0或1。到了計算機裡面，表達同種意義的所有語言都將被平等對待，語言不同，其bit佔用數又會出現不同。而每個語言的理論bit數，也是壓縮軟體努力追求的理想目標。

---------------------------

最後再舉個哈夫曼樹，為了空間最優，頻率（利用率）越低的、對應信息量也越大的字母，佔用bit數也越多，可見這個優化演算法在不知不覺中遵循著信息熵理論。

---------------------------

如果我說的講的比較明白，樓主應該就能想像信息熵極低的文字是什麼樣子的了。

2016-5-30更：更改錯別字，簡化內容。