互信息(Mutual Information)多大才算大？

01-03

如題，互信息(Mutual Information)由於沒有上界。似乎沒有好的方法比較絕對大小。比如相關性係數，主觀上可以選擇0.9以上算高。或者0.5以上算高之類的標準來計算。又或者可以用排列測試來計算P值。但是互信息的絕對大小標準如何確定呢？

可以把兩個隨機變數攜帶的總信息量作為單位1，即用下圖中紫色的部分除以三部分之和。

謝邀。

我本人做理論的，對於資訊理論的應用不是我的專長，只能說一說我對這個問題的從理論角度的看法。王贇 Maigo的回答很好。但在我看來min{H(X),H(Y)}是一個比H(X,Y)更緊的互信息上界，（在一定意義下）也是最緊的互信息上界。（如果你想知道為什麼，我可以給出更詳細的回答。）

順便提一下，我本人的專長是信息不等式，所以對信息測度的上下界問題，特別是如果是多個隨機變數的問題，知道的比較多一點。

Mutual Information 一般不直接比大小。單純比較I(X,Y), I(A,B)之間的大小沒有啥意義。如果要比大小一定要有統一的前提。

舉個例子，可以作為一個loss function解優化問題：比如說有一個隨機變數X，然後Y=g(X)+e，然後你希望找到一個Z=f(Y)使得I(Z,X)最大。如果g是線性組合，X，e都是正態的話，PCA就找到最優的Z。

再舉個簡單的例子,可以比較Y,Z哪個保留了更多X的信息。

可能一個比大小的動機是做一個假設檢驗，比如觀測到多大的值可以推翻原假設。很不幸，mutual information在原假設下的分布不收斂。當然你可以用permutation test來具體問題具體分析。

我覺得取決於你要解決什麼樣的問題。

比如，你要判斷X和Y是否是兩個的獨立的隨機變數。那麼你希望找到 $I(X,Y) = 0$. 假如這是你有三個隨機變數 $X_1,X_2,X_3$ 的observation。那麼根據data，你可以找出兩兩之間的mutual information是多大，e.g. $I(X_1,X_2) = 0.01, I(X_1,X_3) = 10, I(X_2,X_3) = 1$ .在這種情況下，如果你假設 $X_1 X_2$ 是相互獨立的就比較有信服度。而假設 $X_2,X_3$ 是獨立的就有待商榷。

加入你要看兩個變數的相似度或者兩個分布的相似度，mutual information本身就不是一個特別好的評價。你可以嘗試用下KL divergence。

互信息(Mutual Information)沒有上界，需要標準化到0~1區間。1為兩分布完全相同，0代表兩分布的互信息等於完全隨機時的期望值。參考Adjusted mutual information 或者你自己想一個合理的標準化模型

這個問題就是NMI，歸一化（或叫標準化）的互信息所要解決的問題。

它將互信息的值除上由計算互信息的雙方各自的信息量所決定的量。這個量一般可取為最小值或者算術平均數。

不是有根號mi平方除以hxhy的normalize么

你standardize一下，H(X,Y)/min(H(X), H(Y)) 之類的再看唄。。。

不能具體量化