5.4 建模分析的数据准备
5.4.1 数据预处理概述
在工业过程中产生的数据由于传感器故障、人为操作因素、系统误差、多异构数据源、网络传输乱序等因素极易出现噪声、缺失值、数据不一致的情况。直接用于数据分析会对模型的精度和可靠性产生严重的负面影响。在工业数据分析建模前,需要采用一定的数据预处理技术,对数据进行预处理,来消除数据中的噪声、纠正数据的不一致、识别和删除离群数据,来提高模型鲁棒性,防止模型过拟合。
在工业过程中产生的数据由于传感器故障、人为操作因素、系统误差、多异构数据源、网络传输乱序等因素极易出现噪声、缺失值、数据不一致的情况。直接用于数据分析会对模型的精度和可靠性产生严重的负面影响。在工业数据分析建模前,需要采用一定的数据预处理技术,对数据进行预处理,来消除数据中的噪声、纠正数据的不一致、识别和删除离群数据,来提高模型鲁棒性,防止模型过拟合。