基于 Django 和 Spark 的异常检测系统

入侵检测技术是网络安全的核心，随着网络带宽流量的增加，快速检测成为入侵检测系统的重要需求。Snort入侵检测系统通过数据抓取和规则匹配来判断是否遭受攻击，规则质量直接影响系统性能。结合数据挖掘技术，设计并实现基于关联规则的分析器插件，以增强Snort对入侵的识别能力。利用Apriori算法挖掘Snort生成的告警日志，探索潜在的攻击模式，并将关联规则转化为Snort规则。通过SYN Flood攻击测试规则的增强，改进后的Snort系统显著提高了对SYN Flood攻击的检测效率。

基于统计的方法假设给定的数据集服从某种随机分布，通过不一致性测试来识别异常。然而，在实际应用中，数据往往不符合理想的数学分布，尤其是在高维情况下，估计数据点的分布变得极其困难。

高维数据的异常探测方法由Aggarwal和Yu (SIGMOD’2001)提出。该方法将高维数据集映射到低维子空间，通过评估子空间中数据的稀疏性来识别异常数据。

异常检测方法可以基于多种不同的方法进行分类：包括统计学方法、距离度量方法、偏差检测方法和密度估计方法。这些方法在处理高维数据时也有各自的应用场景。

LSTM自编码器在异常检测领域展现出强大的能力。其通过学习正常数据的时序模式，能够有效识别偏离预期行为的异常。该模型首先利用LSTM编码器将输入序列压缩成低维特征表示，然后利用LSTM解码器尝试从该表示中重构原始序列。对于正常数据，模型能够实现高精度的重构；而对于异常数据，由于其特征与训练数据存在差异，模型的重构误差会显著增大。因此，可以通过设置阈值来区分正常和异常数据。

图书推荐系统 本系统基于 Python Django 框架构建，为用户提供个性化的图书推荐服务。 管理员功能 用户管理：删除用户 书籍管理：添加书籍、删除书籍 用户功能 用户认证：注册、登录 图书检索：查询书籍 交互评分：对书籍进行评分 购物车：添加书籍到购物车、删除购物车内的书籍 书单管理：创建书单、添加书籍到书单、删除书单 订单操作：生成订单

MLography：这是一种新颖的机器学习方法，专注于肉类金相学中的异常检测。MLography通过数据挖掘和深度学习实现自动化的杂质检测和分析。此方法利用几何对象的异常分数来识别和量化不同的杂质类型。以下是模型的主要功能： 空间异常：检测在邻域中体积较大且距离较远的杂质，评估其异常度。 形状异常：将不对称的形状视为异常，从形状特征上突出杂质。 综合异常：结合空间和形状异常分数，呈现最具代表性的杂质对象。 区域异常：分析异常物体的空间分布，量化区域内的杂质位置和数量。 本存储库提供MLography实现细节，包括代码、数据以及MLographyENV文件，用于快速创建带所需软件包的anaconda环境。引用：如果此工具对您的研究有帮助，请引用MLography以支持进一步发展。

是智能运维方向论文中较早而且较有影响力的一篇文章，首次提出使用机器学习的方法来帮助运维人员自动配置异常检测器，并且取得的较好的性能。虽然有监督的方式仍具有局限性，并且最终的性能指标并不是很高，但Opprentice系统的提出仍然为实际运维中异常检测的工作有很大借鉴价值。在此，简单对该文章进行翻译，供英语水平不高的同学快速浏览，了解文章的主要思想和大致路线，以提高读文章的速度。原本想复现一下，后来看到裴丹老师的一些新论文中，已经找到了更好的解决方式，其中有一篇WWW2018的文章还有代码，准备先看新文章了。GITHUB上有这篇文章的部分代码重现，文末参考资料中有链接，如果有完整重现，请联系我分享一下。

这是一个毕业设计项目，包含经助教老师测试通过的课程设计和项目源码。系统运行稳定，欢迎下载交流。请下载后首先查阅README.md文件。