BC-PDM分布式数据挖掘系统的云计算与数据挖掘研究

基于云计算的分布式数据挖掘系统，架构挺清晰的，适合大规模数据挖掘任务。业务层、服务中间层、底层能力支持层三层分得明白，逻辑上也好扩展。尤其是平均查询延迟只有 2.43s，响应还挺快的，做实时也不吃力。系统分层设计比较利于模块化开发，后期维护也方便。如果你在做大数据或分布式，强烈建议看看这个方案，参考价值还蛮高。

PDMiner 的并行分布式挖掘能力真的挺强，适合那种动辄 TB 级的大数据场景。平台是基于 Hadoop 打造的，利用了 HDFS 和 MapReduce，性能稳定，扩展性也不错，跑起大型任务来带劲。如果你之前被串行算法拖慢过节奏，PDMiner 这种并行方案就挺值得一试。 PDMiner 的并行机制真的是大数据瓶颈的一把好手。数据预、分类、聚类、关联规则，全都能并行搞定。后台用的是Hadoop，性能可不是闹着玩的。多节点并发执行，资源利用效率高，响应也快。 平台还整合了工作流子系统，交互界面挺友好，配置任务顺手，哪怕不是技术出身的同事也能用得上。拖拖拽拽就能设定流程，省心省力。嗯，对于习惯

分布式数据表BigTable在云计算和数据挖掘中扮演着重要角色，其高效的数据管理和处理能力成为现代技术应用的核心支撑。

网格的数据共享能力，挺适合做大规模分布式挖掘的。尤其是在科学计算场景下，数据量那是真的大，用传统方式，效率和扩展性都跟不上。这篇《论文研究-网格的数据挖掘.pdf》讲得蛮系统的，主要围绕网格环境下怎么挖掘数据，讲了关键技术、架构和流程，还配了个基于OGSA的例子，挺有参考价值的。像你如果平时有接触分布式计算或者高性能计算，这篇文章还蛮值得一看。里面提到的数据共享机制、挖掘模型、资源调度策略，多都能落地。讲得不是晦涩，看起来还比较轻松。不过呢，资料偏理论多一些，适合拿来理一理思路。如果你打算真在项目里搞一套网格挖掘系统，那还得搭配些实操框架，比如 Ignite 做内存计算，或者看看 高性能计算

使用软件代理进行数据挖掘的参考（Hillol Kargupta, Brian Stafford, Ilker Hamzaoglu）

《SB 数据挖掘》是一本蛮实用的经典书，适合你想系统搞懂**大规模数据挖掘**的时候翻翻看。书里不光讲算法，还聊了**MapReduce**、**分布式系统**这些你日常肯定绕不开的技术点。像**MinHashing**、**LSH**这些在文本相似度判断里有戏的技术，书里也讲得挺清楚，配了不少例子，学着不会太吃力。 对了，书里专门开了章节讲**数据流**和**PageRank**，这些你在做推荐系统、搜索引擎或者广告投放优化时都能派上用场。还有啊，它也讲了多和**社交网络**、**高维数据聚类**相关的内容，读下来不会觉得枯燥，更多是“哦，原来是这么玩的”那种感觉。 讲真，这书不是偏机器学习

对分布式环境中数据挖掘的全面调查。

本研究设计了一种结合云计算优势的云计算数据挖掘系统架构，详细描述了其关键组件。该架构可解决当前系统存在的共享性、扩展性和成本问题，为未来基于云计算平台的数据挖掘系统架构研究提供参考。

BC-PDM 的数据装载和导出功能，挺适合你用在做数据预的时候。装载这块能直接把DFS上那些没元数据的文件成标准格式，比如自动断行、去空行这些常见操作，全自动的，省事不少。导出也比较灵活，格式可以选，分隔符也能自定义，数据还是保留在DFS上，不会额外挪动，速度也快，比较适合跑完流程之后的输出步骤。