壹.信息熵
熵用於度量與結果的概率分布相關的不確定性。因此，它也可以測量事故。熵不同於方差，方差衡量壹個數值集合或分布的離差。不確定性與離散度有關，但它們不是壹回事。熵的定義是概率分布。因此，它可以應用於非數值數據分布。
信息熵對應於“是或否”問題的預期數量。如果我們要問很多問題，那麽分布是不確定的。知道了結果就揭示了信息。
二、熵的公理基礎
第三，用熵來區分結果類別。
在計算機科學家和數學家史蒂夫·沃爾夫勒姆給出的四個範疇框架下建模:平衡、周期性、隨機性和復雜性。在wolfram的分類中，桌子上的鉛筆處於平衡狀態，繞太陽運行的行星處於循環狀態，拋硬幣的結果序列是隨機的，紐約證券交易所的股價幾乎是隨機的(我們將在下壹章解釋原因)。最後，壹個人大腦中神經元的放電是復雜的:它們既不是隨意放電，也不是以固定的模式放電。
四。最大熵和分布假設
最大熵分布的形狀取決於各種約束。正如我們已經看到的，如果假設壹個最小值和壹個最大值，那麽平均分布將使熵最大化。
如果壹個突變可以最大化熵(為了探索最佳生態位)，並且假設平均規模和總離散度固定，那麽規模的分布將是正態的。關鍵不在於這種最大熵方法是否提供了更好的解釋，而在於熵最大化必然導致給定約束下的正態分布。所以我們看到的正態分布，可能就是熵最大化的結果。
動詞 （verb的縮寫）熵的經驗和規範含義
熵測度可以用於任何實際應用中，可以用來度量對金融市場的幹預是增加還是減少了不確定性，可以檢驗選舉、體育賽事或賭博中的結果是否隨機。在這些應用中，熵被用作經驗測量。它告訴我們世界是什麽樣子，而不是世界應該是什麽樣子。壹個系統的熵的本質不能簡單的說好壞。我們想要多大的熵取決於具體情況。