QCA6410电力猫原理图的批处理数据集成架构和元数据

实时数据集成是为了完成业务事务处理而需要即时贯穿多个系统接口的过程。这种接口通常以消息形式传送小数据量。大多数实时接口是点对点的，发送和接收系统之间紧密耦合，因此任何变化都需同步实施。实时数据集成的最佳实践克服了点对点和紧耦合接口设计的复杂性问题。

17.4在元数据库建模、概要分析及ESB工具转换方面，各自拥有独立的源数据存储库。这些对于管理、开发和操作实时数据集成方案中的元数据至关重要。批处理集成元数据方面，统一的企业级元数据库能够极大地增强组织的操作效率。它能够连接不同的工具和引擎，提供全局视图，并追踪审计数据的移动与转换。企业级元数据库的引入不仅能提升数据管理能力，还能为业务用户提供数据位置、质量、合理使用方式、更新历史及访问追踪等信息。

随着13.4可扩展标记语言在交互组织、应用和服务中的广泛应用，使用XML作为主要数据交换格式已经成为信息传输的标准。XML格式不仅提供了数据描述的灵活性，还通过元数据的嵌入使得数据的管理和交换更加高效。在数据集成和服务导向架构中，XML的普遍应用促使了数据标准化和信息共享的进程。M.David Allen在其数据管理著作中详细讨论了XML在数据集成中的重要性，强调了XML作为一种通用且灵活的数据编码规则的优势。

在将数据用于新的应用程序或系统之前，必须进行源数据的详细分析和优化，以确保数据质量能够满足目标应用的需求。这一过程不仅仅是为了发现和解决数据中的问题，更是为了确保数据能够准确地满足业务规则和信息需求。常见的数据质量问题包括不符合业务规则的数据、缺失信息或字段不完整等。优化源数据的方法可以是通过定制代码或手动清洗和增强数据。这些措施不仅提高了数据的质量，还确保了新应用系统的有效运行。

第16章更新实时数据仓库16.1企业信息工厂Bill Inmon将数据仓库定义为“支持管理决策制定的面向主题、集成和时间变化的非易失性数据集合”（Inmon，1992）。数据仓库中的数据通常通过组织的主数据和交易处理应用的更新和快照填充，按周期性进行（每天、每周或每月）。图16-1展示了一个数据仓库和商务智能解决方案的架构，该解决方案定期接收批处理更新。

第11章简介实时数据集成：11.1 实时数据集成的必要性；11.2 两组技术的应用需求。第12章数据集成模式：12.1 交互模式；12.2 松耦合模式；12.3 中心和节点模式；12.4 同步交互与异步交互；12.5 请求和应答模式；12.6 发布和订阅模式；12.7 两阶段提交模式；12.8 集成交互类型。第13章核心实时数据集成技术：13.1 术语的澄清；13.2 企业服务总线；13.3 面向服务架构；13.4 可扩展标记语言；13.5 数据复制与变化数据捕获；13.6 企业应用集成；13.7 企业信息集成。第14章数据集成建模：14.1 规范化建模；14.2 消息建模。第15章主数据管理：15.1 主数据管理简介；15.2 主数据管理的必要性；15.3 软件包与主数据的购买；15.4 参考数据的应用；15.5 主数据与从数据的比较；15.6 外部数据的整合；15.7 主数据管理的核心功能；15.8 注册表与数据中心的主数据管理方案。第16章实时更新数据仓库：16.1 企业信息工厂；16.2 操作型数据存储。

在数据仓库环境中，主数据通常通过操作型系统或主数据环境的更新来维护，而不是每个周期性更新中通过快照获取整个数据集来更新。如果数据仓库增加了实时更新功能，可以使用此功能实时维护数据仓库中的主数据。使用不同于交易数据调度的调度对数据仓库中的主数据进行修改，可能会导致特定报表中结果的变化，具体取决于报表定义。主数据在报表生成中用于排序和分组交易数据，因此被称为数据的“维度”。在生成报表时，必须选择是基于交易数据中主数据的状态还是基于报表生成时主数据的状态来分组交易数据，以适应不同报表的需求。例如，销售报表中，销售员是否显示在新的区域或旧的区域取决于其历史销售记录。在计算佣金时，报表需要将销售员在不同城市的历史销售数据显示在其名下，同时根据区域逐年显示销售数据。Krish Krishnan讨论了实时数据仓库更新的重要性，特别关注实时数据集成的应用。他强调了在数据仓库架构中同时使用批处理和实时数据集成方案的价值。

在新兴领域中，大数据和虚拟化技术正成为数据集成方案的关键组成部分。相较于传统的数据处理方式，大数据技术能够原封不动地保留大量不同类型的数据，并实现并行处理。在云计算架构中，依赖数据集成的外部虚拟服务器方案、数据复制和容错方案同样得到了广泛应用。基础设施和服务器虚拟化的广泛应用增强了管理灵活性，这些技术与某些数据集成方案紧密结合。内存数据结构和处理技术的性能提升依赖于多种数据集成技术的支持。数据虚拟化能力则代表了数十年数据集成经验的集大成，应用了成千上万小时的技术和技巧。

在多数情况下，除了战略性应用外，购买现成的软件包并适当配置，对于组织来说是经济实惠的选择，业界长期以来已形成共识。此外，购买软件包还可享受到其他益处，如与其他使用者共享新功能开发、支持新特性以及解决问题的成本。COTS软件包的集成需要定制开发，以满足特定组织的需求。每个软件包都定义了自己的主数据结构，如客户、产品和组织层级等，跨不同应用程序的集成和数据整合是必要的。尽管购买应用解决方案简化了管理和支持，但也增加了数据集成的复杂性。