过度拟合解决方法:权值衰减。它在每次迭代过程中以某个小因子降低每个权值,这等效于修改E的定义,加入一个与网络权值的总量相应的惩罚项。此方法的动机是保持权值较小,从而使学习过程向着复杂决策面的反方向偏置。验证数据是最成功的方法之一,在训练数据外再为算法提供一套验证数据,并使用在验证集合上产生最小误差的迭代次数。虽然这不是总能明显地确定验证集合何时达到最小误差,但它通常能有效减少过度拟合问题。