信息量是衡量信息多少的物理量。当先验概率高时，信息量较低；反之，信息量较高。比如，从一个口袋中抓球的例子可以说明信息量的概念。在决策树算法中，信息量的量化描述对于预测结果至关重要。