「計算」會改變信息量么？

01-16

例如解一個線性方程組，從
4x+2y=6,
3x-y=2
到它的解(x=1,y=1)，信息量變少了么？
如果是，少在哪裡？

如果不是，那為什麼還要「計算」？

首先，信息量當然減少了，因為可以有無數個方程得到這一組解，你只留下方程的解當然丟失了信息量。

在這個例子裡面，解相對於方程而言是多餘的，因為只要有方程就一定能得到這個解。方程+解和方程的信息量等同。所以，計算不能增加信息量。

然後，計算能不能減少信息量？減少信息量的本質是丟棄信息，而不是計算，你僅僅保留計算結果，丟棄原始方程，當然減少了信息量，但是這和計算一毛錢關係沒有，是因為你自己把方程丟了。

----------------------------------------------------------------------------------------------

看了大家的答案我有一個疑問，我們討論的信息量是資訊理論裡面的那個信息量么？

方程、函數或者點集，這三者是等價的，他們的信息量是等同的，是同一個東西的三種不同的表現形式。

所以，當你把方程列成一個方程組的時候，信息怎麼就會突然坍縮到只剩下交點呢？我們完全可以通過方程組還原出函數圖像或者點集啊，這說明兩者的信息量是完全等同的。

[1] D. J. C. MacKay, Information Theory, Inference, and Learning Algorithms, vol. 100. 2005.

令隨機變數X為所有包含不確定性的對象，這裡的「計算」我們視為對X的某個確定性函數 f:X-&>f(X)。也就是說，得到結果了就拋棄原有的信息。

注意，由於 f 是確定性的，條件熵 H(f(X)|X) 始終為0，H(X|f(X)) 等於 0 當且僅當 f 可逆。

在這種意義下，會。損失的信息量即為 H(X|f(X))。

不增加信息量，但是可以說增加了信息的另一種表述形式。信息的表述形式對很多問題來說是很關鍵的，而信息量只是個數值，就跟質量、能量差不多，同樣是50kg的碳氫氧氮磷，50kg的人和50kg的生豬就完全不同，可見表述形式也很重要。

@靈劍說的是準確的，我補個理解方式。

方程組裡每一個方程都是一個點集，把它們組織成「方程組」相當於求交。「解」方程相當於把交集是啥給用列表或者別的什麼方式表示出來。

所以認為「把方程解出來是從未知到已知」之類的觀點是錯的……減少點集里點的個數是在「列成方程組」這一步乾的，不是在你「解」這一步才幹的。

減少了。

二元一次方程組可以看作是二維平面內的兩條直線，有4個自由度。

二元一次方程組的解，可以看作是二維平面內的一個點，有2個自由度。

請先明確，問題中的「信息量」是哪一種信息度量？單就這篇論文就有10種以上性質不同的量可以被解釋成「信息量」。

[1208.3459] Randomness, Information, and Complexity

這種求解計算肯定信息減少，因為你的目標是一個「值」。

是一個「值」。

就好像你為了驗證一個項目是否可行，你需要處理分析巨量的文件，最後就得出一個結果：「可行」or「不可行」。

如果目標不同，得到的效果就不同。

舉個信息量變多的例子，有一個壓縮包，你通過一個演算法（或者說字典），解壓壓縮包，那麼得到的信息就變多了。

這個原因就好像你有一本字典，壓縮包就是幾個簡單的數字，一個數字可以對應幾個漢字或者幾百個漢字，那你將壓縮包計算後打開，就得到了海量的數據。

（具體的壓縮演算法不是這樣，我就是舉例通過「字典」的方式，把一個小的數字文件，展開為巨大的文件）

再舉個例子，遊戲，遊戲的文件大小是有限的固定的。

但是你打開遊戲，只要你一直玩下去。

你可以得到無限長的視頻，

你可以得到無限長的視頻。

信息量沒有變，但是計算消耗能量。

人總是需要更簡單直接的形式的信息，因為理解複雜的形式時消耗更多能量，會導致大腦的熵增加。

這個計算的過程實際上也是信息的壓縮，雖然壓縮前後信息量不變，但壓縮過程總是消耗能量。

信息量減少了。

定性可以理解為，從方程可以準確地還原出解，而通過解無法準確得出遠方程。這意味著有一部分不確定性在計算過程中丟失了。信息量是事物不確定性的量綱，也就隨之減少。

信息量變小

之前的方程組代表了兩條直線

他的解只剩下交點了

這個過程信息量減小。

只有方程的解和方程組等價，方程組的解和方程組並不等價。

當然會！！！

會改變的，所有的不可逆計算都會改變。這是由熵增保證的。

看你對信息的空間選取了。

如果你不了解數學，認為信息是文本，並且準備用ascii碼錶示那麼

4x+2y=6,

3x-y=2

等價於28545365548569522475699636552542555556663(瞎編的），如果你想把它存儲起來，那又不得不加上它在特定存儲器上的位置，比如266324 加前面那一大串(瞎編的)。

當你加了一個皮諾亞代數的標籤時

4x+2y=6,

3x-y=2

就等價於兩個方程。

如果再加上歐幾里德空間的性質，

4x+2y=6,

3x-y=2

就等價於兩條直線，

如果你認為方程的前後關係不重要並對其聯立，

大 4x+2y=6,

括

號 3x-y=2

，即你認為它僅僅表示點，那它就等價於點{x=1 y=1}。如果一些寫法上的變化是允許的，你可以寫的更好看一些:(x,y)=(1,1)。

如果你認為x,y不必要，那麼(1，1）就好。

每一次信息轉換，都引入了新的假設(信息所在空間變化，也是信息)。其結果是，原始信息在某些緯度減少，在某些緯度與原來即假設一致(如將變數x認為是x軸上的變數，信息增加）。這種操作與信息空間的操作同步進行，討論起來意義不大～除非把信息空間量化，但實際通常是毫無可行性的，比如，貼個皮亞諾代數的標籤，究竟是用了其中多少假設，變成了多大的空間？

所以我們判斷信息操作前後是否一致時，要對信息的空間進行定義，並保持一致，在此框架下，才能進行判斷。

比如6，放到布爾型里，表示兩種情形下的一種。放到0～31的空間里，表示32種情形下的一種。放到自然數里，表示可數多情況下的一種。放到實數里，表示不可數多的情況下一種。

如果

4x+2y=6,

3x-y=2

表示兩條直線，

那麼，(x=1，y=1)信息減少了，損失在解方程過程中的不可逆操作。

{4x+2y=6,3x-y=2}&>{4x+2*(3x–2)=6，y=3x–2}&>{x=1,y=3x-2}&>{x=1 y=1}。

至於其中某一步究竟可逆還是不可逆，也與操作定義明確與否相關。

如，解方程操作

第一步定義為「將第二個方程中的y用x表示，並帶入第一個方程中，不作其他變換」

第二步定義為「將第一個方程按結合律展開，將含x項置於等式左側，數字項置於右側，兩邊同時除以x項的係數。」

那麼結合第二個式子和第一步操作，可以推回第一個式子。

結合第三個式子和第二步的操作，推不回第二個式子。

可以理解為對兩條直線進行了縮放平移旋轉等操作，保證其交點始終不動，但縮放和平移的具體操作參數未被記錄完全。

在給定信息空間的條件下，如下定義:

信息空間=對應所有可能狀態的數量的負對數。

信息=已知的狀態數量的負對數。則:

信息2=信息1+操作信息空間–逆操作信息空間

一般地，操作信息空間。

民科表演完畢，謝謝觀賞。

信息量是不會增加的，這個可以從資訊理論中的Data Processing Inequality立即得到。

Wiki上給出了如下例子：

在資訊理論中這個不等式經常被用到，可以參考Thomas Cover的Elements of Information Theory。

計算可以減少信息量，而不能增加信息量。

為什麼要計算呢因為信息需要處理不然你接受不了那麼大的信息量

計算可以減少信息量，也可以增加信息量，因為計算本身就是信息。

比如題中原始信息是x=1 y=1

通過計算

4x+2y

3x-y

得到

4x+2y=6

3x-y=2

信息量增加了

簡單地說，計算就是一個映射，此處是將方程集合映射到解的集合里。方程集合大於解的集合。因此這個過程中，信息量減少。

在承認人的基本理性和基本邏輯的前提下，由於例子中的情況是一個等價變換，所以信息量是不會減少的。但信息存在的形式卻發生了改變，變得更加有助於分析，外星人的計算或許是由x y的值以某種規則導出一個方程組也說不定。數學在很多時候都在講求形式這是人的大腦運作模式所決定的，我們只能夠對相當狹窄的範圍的形式加以認知。同時也是公理系統要求的，因為運用這套系統有嚴格的限制，特別是在形式上，所以必須對待分析的東西加以轉化。人的直接認知的能力真的不強，例如，請找出一些數，它們無法被按照任何規則（例如從小到大規則）排成一列，沒學過數學的人很難想像。但數學引入了可列的概念，從而說明了無理數是不可以按照任何規則（例如從小到大規則）排成一列的。按理說，當你說出無理數時，信息就全部給出了，但你並不能直接認識到，必須通過某種方法旁敲側擊來讓自己認識到某些信息。形式的改變常常是重要的方法。

會改變，會變少。

例如，函數求導之後，函數的初始狀態就丟失了，積分也還原不回去。