熵:定义与应用

熵,也称为信息熵,是对随机变量不确定性的度量。

定义:

在概率空间上,随机变量 $I(X)$ 的数学期望被称为该随机变量 $X$ 的平均自信息,也称为信息熵或熵,记为 $H(X)$。

信息熵的概念不仅应用于信息论,也在决策树构建和模型评估中发挥着至关重要的作用。