物理學和信息學的信息概念有不同嗎？怎麼理解？

01-01

題主先拋個猜想吧。
對於不同狀態和位置的觀測者來說，同一事件，一樣的描述①物理學上的信息的量總是不變的嗎？②而信息學上的信息由於編碼系統的不同，所以不同觀測者得到的信息量不等？
如果②的答案是肯定的，這說明信息量和已知的信息（事先約定的編譯系統）相關，於是信息量的變化並不像想像中那樣，與對事件的描述同比變化，而是存在一個像發散級數的變化過程？

題主目前高一，希望能有適合我的解釋。
———————————————————
舉個例子吧，有點類似於三段論。事件A=太陽系有太陽（特指），事件B=地球和太陽在同一個行星系裡面，A和B彼此都是獨立的，當一個觀測者知道A和B，那麼有事件C=有地球（特指）的行星系是太陽系。A、B、C三者中知道兩個等價於知道三個，但觀測者的確只收到了兩條，等於說是憑空產生一條信息。這種1+1&>2的情況，對於統計龐大信息量的結果想必影響非常大，信息學上有這方面的解決方法嗎？
假設觀測者不會邏輯推理，無法推出第三條信息，那麼這裡就是我提問的關鍵了。邏輯推理和編碼解碼的技能算信息嗎？如果算，姑且把它們叫做「元信息」吧。在這個例子中，情況還算簡單，實際「元信息」本身難以判斷，而且信息還可以不斷迭代，信息量計算出來很可能是指數級別的誤差。怎麼辦？

沒有本質區別。從香農熵、玻爾茲曼熵和馮·諾依曼熵到仁義(Renyi)熵的定義，都是在把信息定義為給定「知識」下精確描述系統狀態的能力。

比如在熱力學中，玻爾茲曼熵對應於給定宏觀態（宏觀知識）下微觀態的數量。如果微觀態數量為1，說明宏觀態對應了唯一的微觀態，知道宏觀態就確定了微觀態，因此玻爾茲曼熵為0。而在量子力學中，密度算符一般性地給出了體系中所有物理量（包括漲落）的期望值，這是我們所能獲得的「知識」。而我們從這些知識出發重構出系統「狀態」的能力，則由系統處於不同純態的概率分布決定（這裡稍有些微妙，因為可能涉及不同的詮釋），這就可以用（諾依曼、仁義）熵來度量了。

據說信息是不確定度的消除。。。。。

Shannon資訊理論中用熵來量化信息，隨著消息的隨機性增加而上升。

物理學中當然有一些情況下，可以使用資訊理論中的信息的概念。

但是在物理學的一些領域下，「信息」的概念還不是那麼明確，譬如量子信息領域裡，Quantum Teleportation傳遞的東西是與Shannon資訊理論所描述的對象不同的。

先回到你提到的三段論問題，太陽、太陽系、地球，這三者的關係必須有人已經知道了才能給出那種三段式的題目，信息並沒有憑空產生，只不過有些人不知道而已；相反，如果人類不知道地球、太陽、太陽系的關係，任何邏輯推理就都是假設，並不是確切的信息，需要實驗驗證。

信息有兩層涵義，一是，物質結構、能量、信息三者都是物質本身具有的屬性，信息是客觀存在的，信息簡單說就是物質狀態以及物質運動的關係，狀態和關係都是客觀的，有沒有人它都存在。

信息的第二層涵義就是人為規定的信息涵義，即人通過語言系統表達自己的理性思維。人類社會研究的信息就是：語言系統，人的理性思維，物質的信息屬性，三者的相互關係。

在「公式」上「沒有本質區別」。｛ @李宗生｝

因為「比特」只有一種，無論存儲在三星牌內存裡面還是紫光牌內存裡面都沒有區別，所以不會遭遇「吉布斯悖論」等困擾，而物理學的「混合熵」就不一樣了也。

所以，「信息學」的熵是唯心的，而「物理學」的熵是唯物的，再展開可能會「政治敏感」了，略。｛ @醬紫君｝

我覺得學資訊理論而不先學測度論是學不到什麼真東西的。

儘管如此我還是解釋一下吧，雖然我比題主的學歷更低，小學生哦。

信息的總量是不變的嗎？肯定不是，熱力學第二定律的本質就是系統信息熵上升，玻爾茲曼熵和信息熵是本質等價的。

一個通俗的解釋，做一道選擇題，答案只有是和否，只要知道是或者否的正確的概率，通常會對解題有幫助，也就是說互信息I≥0 ，當且僅當是的概率和否的概率相等時，I=0.此時知道概率對解題一點幫助都沒有。也就是其信息熵達到最大值。

2，我對一段數字，比如1024吧，我既可以說是1024，也可以說是2^10，一般的，對於一段字元的最短描述，定義為柯爾莫哥洛夫複雜度。資訊理論中有個基本定理，這個複雜度本質不可計算，只可估算其上界和下界。但是我們還可以知道，如果一個字元串使用n個二進位符號打出，則其複雜度低於n-m的概率將低於2^-m。

我提到柯爾莫哥洛夫複雜度的原因是因為對比真正的隨機（猴子和打字機），如果是隨機程序的輸出，則輸出會更加有序。什麼叫智能？能把無序，變成有序，即為智能。

順便提一句，分形的柯爾莫哥洛夫複雜度，很低，甚至為零哦。

順便再提一句，一個隨機程序輸出某段字元的概率大約是2^-k(k是其複雜度哦。)這意味著什麼自己好好想想。

為什麼K是不可計算的呢？再往深了想，就觸摸到邏輯的本質了，

「Berry 悖論」

　　培里（G. G. Berry）是英國的圖書館管理員。有一天他告訴羅素下面的悖論：英語中只有有限多個音節，只有有限多英語表達式包含少於40個音節，所以，用少於40個音節的表達式表示的正數數目只有有限多個。假設R為不能由少於40個普的英語表達式來表示的最小正整數(The least positive integer which is not denotedby an expression in the English language containing fewer than forty syllables)。但是，這段英語只包含三十幾個音節，肯定比40個少，而且表示R，這自然產生了矛盾。

關於此還有另一個悖論，不過這個是羅素悖論的翻版，我把數字隨便劃分為兩個集合，一個有特點，一個沒有特點，問題來了，這個最小的沒有特點的數有沒有特點呢？

這也和K以及計算機中的「停機問題」有很大的關聯。不過我不能再說了，再說就被打成民科了。

新年快樂！