条件熵

利用Spark计算CMIM、MRMR、MIFS等方法的开源库已经相当成熟。作者在仿照Spark MLlib库的特征选择功能基础上，扩展了支持系统信息熵和条件熵计算的方法。需要具体结果时，可直接调用ml.feature中相应的方法。

在已知天气条件下，活动的不确定性可以通过条件熵来衡量。具体而言，活动在天气条件下的条件熵 H(活动|天气) 可以通过如下公式计算： H(活动|天气) = ∑ p(天气) * H(活动|天气) 其中 p(天气) 表示特定天气条件出现的概率，H(活动|天气) 表示在该天气条件下活动的熵。 例如，根据给定的数据，我们可以计算出 H(活动|天气) = (5/14)0.971 + (4/14)0 +(5/14)*0.971 = 0.693。 这意味着，在已知天气条件的情况下，活动的决策仍然存在一定程度的不确定性。

该方法利用粗糙集理论处理不确定信息，通过计算条件信息熵来量化属性重要性，进而确定权重。

在数据挖掘中，计算条件属性熵的步骤包括以下几个阶段：年龄、收入、学生、信誉。每个属性都会计算其信息增益，以决策树算法为基础进行分类和预测。具体来说，我们分析了不同条件属性的熵，以便于更好地理解和应用决策树算法。

条件熵是指在给定其他离散变量时，计算离散变量的熵。在MATLAB开发中，可以通过ConditionalEntropy函数实现给定X计算Y的条件熵（以位为单位）。具体计算方法为H = ConditionalEntropy(Y, X)，其中H表示Y在给定X条件下的熵。Y和X分别表示因变量和自变量，注意每个不同值都被视为唯一符号。例如，对于样本量较小的情况下，估计的熵值略小于真实值。

在Matlab环境下，计算粗糙集的下近似属性依赖度和条件熵的方法。

MATLAB提供高效便捷的函数，用于计算信息熵，量化数据的不确定性。

熵：定义与应用 熵，也称为信息熵，是对随机变量不确定性的度量。 定义：在概率空间上，随机变量 $I(X)$ 的数学期望被称为该随机变量 $X$ 的平均自信息，也称为信息熵或熵，记为 $H(X)$。 信息熵的概念不仅应用于信息论，也在决策树构建和模型评估中发挥着至关重要的作用。

本节将绘制二进制熵函数曲线，并且包含三进制的熵函数图示。二进制熵函数定义为H(p) = -plog2(p) - (1-p)log2(1-p)，而三进制熵函数则为H(p) = -p1log3(p1) - p2log3(p2) - p3*log3(p3)。接下来，我们使用Matlab进行实现。 % 二进制熵函数 p = 0:0.01:1; H_bin = -p.*log2(p) - (1-p).*log2(1-p); H_bin(p==0) = 0; H_bin(p==1) = 0; % 避免计算log(0) % 三进制熵函数 p1 = 0:0.01:1; p2 = 1 - p1; p3 = 0.5; H_tri = -p1.*log3(p1) - p2.*log3(p2) - p3.*log3(p3); H_tri(p1==0 | p2==0) = 0; % 避免计算log(0) % 绘图 figure; subplot(2,1,1); plot(p, H_bin); title('二进制熵函数'); xlabel('p'); ylabel('H(p)'); subplot(2,1,2); plot(p1, H_tri); title('三进制熵函数'); xlabel('p1'); ylabel('H(p1,p2,p3);'); 图中分别展示了二进制熵和三进制熵的变化情况，直观地反映了熵的性质。

在 Excel 表格中使用条件求和功能时，可以在相应的单元格内输入条件，系统会自动根据条件进行求和计算。