基于云平台的并行数据挖掘方法探索

近年来，随着技术的进步和数据量的急剧增加，业界已经开始利用云平台处理海量高维数据。将各种异构系统仿真为一个统一的系统，特别是在Hadoop环境中进行数据挖掘时，面临着数据模型的全局性、HDFS文件的随机写操作以及数据生命周期短等挑战。为了解决这些问题，提出了基于Hadoop的高效数据挖掘框架，利用数据库模拟链表结构管理挖掘出的知识。该框架支持树形结构、图模型的分布式计算方法，实现了统计算法如Yscore分箱算法、决策树和KD树的建树算法，并利用Vega云对Hadoop集群进行了仿真。实验结果显示，该框架和算法在实际应用中具有可行性，也具备拓展至数据挖掘以外领域的潜力。