基于网络流量分形特性的DDoS攻击检测新方法研究（2009年）

利用NTP反射放大攻击的特点，对开放公共NTP服务的中国大陆主机发起主动探测，获取返回信息，用于追踪分析全球范围NTP反射类DRDoS攻击事件。从2014年2月开始，观测周期164天，每2小时探测大陆近1.4万台NTP服务主机，记录了数十万个疑似DDoS攻击目标IP地址。

根据实际离线流量分析特点，利用云计算技术设计基于Hadoop的离线流量分析系统，解决海量流量数据的存储和分析难题。2. 为提高系统可用性，设计了分布式集群的管理、监控、告警和优化系统，确保系统稳定高效运行。3. 提出了一种在云计算环境下预测作业运行时间与资源消耗的模型，优化资源利用效率。4. 使用真实海量移动互联网用户数据，深入分析移动互联网流量与用户特性，揭示多维度的用户行为特征。5. 从复杂网络角度构建移动互联网网络结构，研究其复杂网络特性。探讨了利用Hadoop构建网络流量分析系统的方法与实践，应对大数据时代下的挑战。

利用四核ARM S5P4418芯片与CMOS图像传感器OV7725相结合，开发了一种新的地下管线检测系统。该系统通过摄像机捕获激光光斑在成像屏坐标的变化来定位地下管线的位置与弯曲变化。研究采用matlab calibration toolbox对摄像机进行精确标定与矫正，标定误差控制在0.16像素内。此外，还对图像进行了灰度转换、中值滤波与阈值分割预处理，并应用灰度重心法准确获取激光光斑的中心位置信息。这一简单有效的方法显著降低了工作量与检测成本。

在大数据处理领域，Hadoop是一个不可或缺的开源框架，被广泛用于存储和处理海量数据。本教程将专注于如何利用Hadoop对网络流量数据进行统计分析，这对理解网络行为、优化网络服务和制定数据驱动的决策至关重要。我们将深入研究Hadoop的核心组件：HDFS和MapReduce。HDFS作为分布式文件系统，将大文件分割成多个块，并在集群中的不同节点上存储这些块，以实现高可用性和容错性。MapReduce则是处理这些数据的计算模型，包括Map和Reduce两个主要阶段。在\"HTTP_.dat\"文件中，我们假设它包含了通过HTTP协议产生的各种网络活动记录，如URL访问、请求时间和响应状态码等。这些数据对分析用户行为、网站性能和网络流量模式具有重要价值。为了统计这些数据，我们需要进行以下步骤：1.数据预处理：使用Hadoop工具将\"HTTP_.dat\"文件上传到HDFS，并清洗数据，去除空行和不完整的记录。2.Map阶段：编写Map函数，解析每条HTTP日志，提取关键信息形成键值对，如源IP地址和请求次数。3.Reduce阶段：编写Reduce函数，对Map阶段输出的键值对进行聚合，计算每个源IP的总请求次数或分析请求的分布情况。4.结果输出：将Reduce阶段的结果写回HDFS，并使用Hadoop生态中的其他工具如Hive或Pig进行进一步查询和分析。在这个过程中，还可以结合使用Hadoop的其他组件如HBase和Spark进行实时查询和高效计算，以及与机器学习库Mahout或Spark MLlib结合进行用户行为预测和异常检测。总之，Hadoop在处理大规模网络流量数据时，提供了强大的分布式存储和计算能力。

决策树作为数据挖掘和归纳学习的关键方法之一，其构建效率一直备受关注。传统的ID3算法虽然应用广泛，但存在偏向取值较多属性的缺陷，影响了决策树的泛化能力。为了克服这一问题，该研究引入深度循环神经网络 (DRNN) 的强大学习能力，提出一种基于改进DRNN网络的决策树构建方法。该方法利用DRNN网络对数据进行深度表征学习，提取更具判别性的特征，从而优化决策树的节点分裂过程，最终构建出结构更合理、分类性能更优的决策树模型。

针对传统方法难以有效判断拉杆转子装配状态的问题，提出一种利用分形理论分析拉杆转子装配振动检测信号的新方法。通过拉杆转子装配振动检测试验，获取不同螺栓预紧状态下的振动响应信号，并运用分形理论对其进行分析，计算矩形盒维数和多重分形谱参数。 研究发现，螺栓松动会导致振动响应信号的盒维数增加，当盒维数大于1.25时，即可判定转子装配不合格。此外，利用多重分形谱参数作为支持向量机的特征向量，可以有效识别拉杆转子的装配状态。

为了解决文本数据挖掘等尚未成熟的领域中本体构建的挑战，我们首先创建了领域本体的基本概念词集。利用样本库优化这些基本概念，并构建它们的上下文关系，筛选出相关的名词，并且设计了一种算法来确认同义词、近义词和反义词。这一方法已经被证实在实践中具有可行性。

随着软件工程的发展，评估软件产品变得日益重要。传统的主观经验和有限数据集评估方法准确性有限。为解决这一问题，尹云飞等人提出了一种创新的基于数据挖掘的模块评估新方法，采用模糊聚类技术提高评估精确度和有效性。

研究了数据挖掘中异常点检测的通用方法，并分析了它们的优缺点。还探讨了在高维和基于聚类的异常点挖掘中的应用情况，希望为进一步改进提供基础。