1mb(毫比特)的數據有多大?

這是一個腦洞問題。

單位的前綴可以用來修飾倍率,如M是10^6 而m卻是10^-3, 大小寫之差會導致極大的差別

然而現實中似乎很少遇到m和M都常用的單位。

那麼問題來了,

1/1000 bit 有良好的定義么?如果有,那麼1/1000 bit 的信息有多大?


比特可以是信息熵的單位,信息熵的定義是 I=-log_2 p ,p 是這件事發生的概率,所以你只要說一件幾乎必然發生的事就可以讓它的信息熵任意接近於零… 如果你想要 0.001 bit 的話(為什麼不是 1/1024 啊?),這件事的概率需要是 2^{-0.001} ≈ 0.999307

打個比方,如果你拋的硬幣有三個狀態:正面、反面、立起來,立起來的概率約萬分之七,那麼「硬幣沒立起來」這句話的信息熵就大約是 1mb


推薦閱讀:

在處理時間序列數據的時候有哪些大幅提高效率的方法或技術?
有哪些比較好的做異常值檢測的方法?
喜歡 Data Visualization 這個概念的人如何在追求「數據之美」的同時避免「數字的陷阱」?
需要做數據彙報,有什麼好的工具推薦?
數據產品的定義和種類?

TAG:數學 | 數據 | 資訊理論 |