高维数据中的异常检测-综述异常检测方法

研究了数据挖掘中异常点检测的通用方法，并分析了它们的优缺点。还探讨了在高维和基于聚类的异常点挖掘中的应用情况，希望为进一步改进提供基础。

随着时间数据分析领域的发展，时序数据异常检测变得越来越重要。这项技术专注于识别时间序列中的异常模式和趋势，为数据分析和预测提供可靠的基础。通过应用先进的算法和技术，研究人员能够有效地监测和分析数据中的异常点，进而改进预测模型的准确性和可靠性。

异常检测方法可以基于多种不同的方法进行分类：包括统计学方法、距离度量方法、偏差检测方法和密度估计方法。这些方法在处理高维数据时也有各自的应用场景。

是智能运维方向论文中较早而且较有影响力的一篇文章，首次提出使用机器学习的方法来帮助运维人员自动配置异常检测器，并且取得的较好的性能。虽然有监督的方式仍具有局限性，并且最终的性能指标并不是很高，但Opprentice系统的提出仍然为实际运维中异常检测的工作有很大借鉴价值。在此，简单对该文章进行翻译，供英语水平不高的同学快速浏览，了解文章的主要思想和大致路线，以提高读文章的速度。原本想复现一下，后来看到裴丹老师的一些新论文中，已经找到了更好的解决方式，其中有一篇WWW2018的文章还有代码，准备先看新文章了。GITHUB上有这篇文章的部分代码重现，文末参考资料中有链接，如果有完整重现，请联系我分享一下。

基于统计的方法假设给定的数据集服从某种随机分布，通过不一致性测试来识别异常。然而，在实际应用中，数据往往不符合理想的数学分布，尤其是在高维情况下，估计数据点的分布变得极其困难。

异常（Outlier）指的是数据集中与大部分数据显著偏离的数据点，其偏离程度超出随机因素的范围，可能源于完全不同的生成机制。根据Hawkins的定义，异常是数据中那些使人怀疑其生成方式不同于其他数据的点。根据Weisberg的看法，异常是不符合数据集其他部分统计模型的数据。Samuels认为，异常是与数据集中其余部分显著不同的数据点。Porkess指出，异常是远离数据集中其他数据点的极端值。

该方法将数据空间分割为单元，单元长宽为 D/(2k1/2)。每个单元包含两层包围层：内层厚度为 1 倍单元长度，外层厚度为 int（2k1/2 -1）+1 倍单元长度。异常判定：- 若 cell_+1_layer_count > M，则单元中的对象均为非异常。- 若 cell+_2_layer_count

异常入侵检测技术探究 异常入侵检测，作为网络与信息安全领域的至关重要一环，其主要方法包括： 统计异常检测: 通过建立系统正常行为的统计模型，识别偏离模型的异常行为。 基于特征选择的异常检测: 提取网络流量或系统行为的关键特征，利用特征差异识别异常。 基于贝叶斯推理的异常检测: 利用贝叶斯定理计算事件发生的概率，判断异常出现的可能性。 基于贝叶斯网络的异常检测: 构建网络结构表达变量之间的依赖关系，通过概率推理进行异常检测。 基于模式预测的异常检测: 学习正常行为模式，预测未来行为，将与预测不符的行为判定为异常。 基于神经网络的异常检测: 利用神经网络强大的自学习能力，构建模型识别复杂非线性关系，从而检测异常。 基于贝叶斯聚类的异常检测: 根据数据间的相似性进行聚类，将孤立点或不属于任何簇的数据视为异常。 基于机器学习的异常检测: 利用机器学习算法训练模型，识别异常模式。 基于数据挖掘的异常检测: 从海量数据中挖掘潜在的异常模式，提升检测效率和准确性。

pyculiarity 用于时序数据异常检测，能有效识别异常值。