請用通俗易懂的語言解釋一下什麼是熵？

12-30

寫過一篇關於 KL 散度的理論＋運用的文章：KL 散度（從動力系統到推薦系統）

在資訊理論和動力系統裡面，Kullback-Leibler 散度（簡稱 KL 散度，KL divergence）是兩個概率分布 P 和 Q 的一個非對稱的度量公式。這個概念是由 Solomon Kullback 和 Richard Leibler 在 1951 年引入的。從概率分布 Q 到概率分布 P 的 KL 散度用 D_{KL}(P||Q) 來表示。儘管從直覺上看 KL 散度是一個度量或者是一個距離，但是它卻不滿足度量或者距離的定義。例如，從 Q 到 P 的 KL 散度就不一定等於從 P 到 Q 的 KL 散度。本文即將介紹如何將動力系統的概念運用到實際推薦系統的工作中，從而達到更佳的推薦效果。

詳細請見：KL 散度（從動力系統到推薦系統）

熵的社會學意義

找到了阮一峰的博客，裡面的回答是目前看到的最通俗易懂的答案：）

熵，是用來衡量一個系統的混亂程度的。

比如說一堵牆，砌得很工整。黃大鎚走過去，八十！把牆掄倒了，變成一堆散落的磚塊。

這就是熵增的過程。

熵增加，混亂程度增加。

為何人們如此喜歡看閱兵時兵哥哥整齊劃一的步伐？

低熵體啊摔！！！

ㄟ( ▔, ▔ )ㄏ

粗淺之談，僅供參考。

我覺得人教版的物理課本已經算是通俗易懂的了吧選修3-3

就是用來形容系統的混亂程度的，熵越大混亂程度越大。

比如一副撲克牌，按順序擺好，這時候熵最小，可是洗一下牌，這時候混亂程度大，所以熵也就跟著大。

再比如，熵可以看作要描述這個系統所需要的文字長度，比如這個數字：1111111111111111111111111111111，

可以描述為「32個1」

而2333333333333333333333333333333，

只能描述為「一個2後接31個3」，用來描述這個數字的字元串越長，熵越大。

這也就是壓縮軟體的原理，找到最小的字元串來描述需要壓縮的文件。

混亂的程度