熵:定义与应用
熵,也称为信息熵,是对随机变量不确定性的度量。
定义:
在概率空间上,随机变量 $I(X)$ 的数学期望被称为该随机变量 $X$ 的平均自信息,也称为信息熵或熵,记为 $H(X)$。
信息熵的概念不仅应用于信息论,也在决策树构建和模型评估中发挥着至关重要的作用。
熵,也称为信息熵,是对随机变量不确定性的度量。
定义:
在概率空间上,随机变量 $I(X)$ 的数学期望被称为该随机变量 $X$ 的平均自信息,也称为信息熵或熵,记为 $H(X)$。
信息熵的概念不仅应用于信息论,也在决策树构建和模型评估中发挥着至关重要的作用。