属性A对集合S的划分熵值EntropyA(S)的计算公式:

当属性A为离散型数据时,并具有k个不同的取值,属性A依据这k个不同取值将S划分为k个子集{S1,S2,…,Sk},属性A划分S的信息熵为:

其中|Si|和|S|分别是Si和S中包含的样本个数。