多种数据挖掘的视角-浙大关于大数据的讲解

探索性选择方法（td）涉及到2d个可能的子集。t逐步向前选择，从空属性集开始，选择原属性集中最好的属性，并将其添加到该集合中，重复该步骤。t逐步向后删除，从整个属性集开始，每一步都删除当前属性集中的最坏属性。t向前选择和向后删除相结合，每一步选择一个最好的属性，并删除一个最坏的属性。可以使用临界值来确定上述三种方法的结束条件。t最终形成归纳树。

大数据领域中，元数据与数据相辅相成，共同构建数据仓库的模型结构。元数据主要描述数据模型的结构信息。在数据仓库中，元数据的重要用途包括：作为目录，帮助决策支持系统分析数据仓库内容；作为数据仓库与操作性数据库间的映射标准；指导细节数据与稍加综合数据之间的汇总算法，以及指导稍加综合数据与高度综合数据之间的汇总算法。

数值区域的自然划分可以使数据更加直观和易于理解。按照3-4-5规则，根据数据集的极值分布，我们将数值区域划分为不同的等宽子区间，以便更好地呈现数据分布情况。例如，对于年薪的划分，我们采用了【10,000~20,000】，【20,000~30,000】，【30,000~40,000】等区间，这种自然划分方法能够有效避免数据分析结果的扭曲。

数据集成与模式集成 数据集成是指将来自多个数据源的数据整合到一个统一的存储中，而模式集成则是整合不同数据源的元数据，为数据集成提供基础。 实体识别与数据冲突 实体识别是指匹配来自不同数据源的现实世界实体，例如将数据源A中的“cust-id”与数据源B中的“customer_no”匹配。 在数据集成过程中，需要检测并解决数据值的冲突。同一实体在不同数据源中的属性值可能存在差异，其原因可能是不同的数据表示方式或度量标准等。

数据立方体可以被看作是一个方体的格局。最底层的方体是基本方体，最顶端的方体（顶点）只包含一个单元的值。对于一个n维的数据立方体，每维L层，可能产生的方体总数是多少？数据立方体的物化有三种方式：预先计算所有方体（全物化）、不预先计算任何“非基本”方体（不物化）、有选择的计算一个适当子集的方体（部分物化）。在确定物化哪些方体时，需要考虑工作负荷下的查询频率及其开销等因素。

这是我在课程设计中收集整理的资料，涵盖了多种数据挖掘算法的实施方法，对于数据挖掘领域具有实际应用意义，希望能对您有所帮助。

浙大数据挖掘课件助您掌握数据挖掘技能。

示例：利用DMQL语言定义雪花模式，创建立方体销售雪花[时间、商品、分支、位置]：销售额 = 美元销售总额之和，平均销售额 = 美元销售总额的平均数，销售单位数 = 总数定义维度时间为（时间键、星期几、月份、季度、年份）定义维度商品为（商品键、商品名称、品牌、类型、供应商（供应商键、供应商类型））定义维度分支为（分支键、分支名称、分支类型）定义维度位置为（位置键、街道、城市（城市键、省或州、国家））。

互联网和电子商务的普及带来了大量的数据集，这些数据成为数据挖掘的宝贵资源。本书侧重于解决数据挖掘中关键问题的实用算法，即使是处理最大数据集也能游刃有余。首先讨论了Map-Reduce框架，这是自动并行化算法的重要工具。作者详解了局部敏感哈希和流处理算法的技巧，用于处理数据量过大而无法进行详尽处理的情况。接着介绍了PageRank算法及其在组织网络信息中的应用技巧。其他章节涵盖了发现频繁项集和聚类的问题。最后几章分别讨论了推荐系统和网络广告的应用，这两者在电子商务中至关重要。本书由数据库和网络技术领域的两位权威专家撰写，无论对学生还是从业者都是必读之作。