电力猫原理

实时数据集成是为了完成业务事务处理而需要即时贯穿多个系统接口的过程。这种接口通常以消息形式传送小数据量。大多数实时接口是点对点的，发送和接收系统之间紧密耦合，因此任何变化都需同步实施。实时数据集成的最佳实践克服了点对点和紧耦合接口设计的复杂性问题。

第一章探讨了数据集成在现代技术中的核心地位。第二章详细介绍了数据集成的基本概念及其在信息技术中的作用。第三章分析了数据集成的多种类型和复杂性，强调了其在信息管理中的挑战和解决方案。第四章深入剖析了数据集成开发的完整过程。

随着13.4可扩展标记语言在交互组织、应用和服务中的广泛应用，使用XML作为主要数据交换格式已经成为信息传输的标准。XML格式不仅提供了数据描述的灵活性，还通过元数据的嵌入使得数据的管理和交换更加高效。在数据集成和服务导向架构中，XML的普遍应用促使了数据标准化和信息共享的进程。M.David Allen在其数据管理著作中详细讨论了XML在数据集成中的重要性，强调了XML作为一种通用且灵活的数据编码规则的优势。

第16章更新实时数据仓库16.1企业信息工厂Bill Inmon将数据仓库定义为“支持管理决策制定的面向主题、集成和时间变化的非易失性数据集合”（Inmon，1992）。数据仓库中的数据通常通过组织的主数据和交易处理应用的更新和快照填充，按周期性进行（每天、每周或每月）。图16-1展示了一个数据仓库和商务智能解决方案的架构，该解决方案定期接收批处理更新。

在将数据用于新的应用程序或系统之前，必须进行源数据的详细分析和优化，以确保数据质量能够满足目标应用的需求。这一过程不仅仅是为了发现和解决数据中的问题，更是为了确保数据能够准确地满足业务规则和信息需求。常见的数据质量问题包括不符合业务规则的数据、缺失信息或字段不完整等。优化源数据的方法可以是通过定制代码或手动清洗和增强数据。这些措施不仅提高了数据的质量，还确保了新应用系统的有效运行。

17.4在元数据库建模、概要分析及ESB工具转换方面，各自拥有独立的源数据存储库。这些对于管理、开发和操作实时数据集成方案中的元数据至关重要。批处理集成元数据方面，统一的企业级元数据库能够极大地增强组织的操作效率。它能够连接不同的工具和引擎，提供全局视图，并追踪审计数据的移动与转换。企业级元数据库的引入不仅能提升数据管理能力，还能为业务用户提供数据位置、质量、合理使用方式、更新历史及访问追踪等信息。

在多数情况下，除了战略性应用外，购买现成的软件包并适当配置，对于组织来说是经济实惠的选择，业界长期以来已形成共识。此外，购买软件包还可享受到其他益处，如与其他使用者共享新功能开发、支持新特性以及解决问题的成本。COTS软件包的集成需要定制开发，以满足特定组织的需求。每个软件包都定义了自己的主数据结构，如客户、产品和组织层级等，跨不同应用程序的集成和数据整合是必要的。尽管购买应用解决方案简化了管理和支持，但也增加了数据集成的复杂性。

第11章简介实时数据集成：11.1 实时数据集成的必要性；11.2 两组技术的应用需求。第12章数据集成模式：12.1 交互模式；12.2 松耦合模式；12.3 中心和节点模式；12.4 同步交互与异步交互；12.5 请求和应答模式；12.6 发布和订阅模式；12.7 两阶段提交模式；12.8 集成交互类型。第13章核心实时数据集成技术：13.1 术语的澄清；13.2 企业服务总线；13.3 面向服务架构；13.4 可扩展标记语言；13.5 数据复制与变化数据捕获；13.6 企业应用集成；13.7 企业信息集成。第14章数据集成建模：14.1 规范化建模；14.2 消息建模。第15章主数据管理：15.1 主数据管理简介；15.2 主数据管理的必要性；15.3 软件包与主数据的购买；15.4 参考数据的应用；15.5 主数据与从数据的比较；15.6 外部数据的整合；15.7 主数据管理的核心功能；15.8 注册表与数据中心的主数据管理方案。第16章实时更新数据仓库：16.1 企业信息工厂；16.2 操作型数据存储。

在数据仓库环境中，主数据通常通过操作型系统或主数据环境的更新来维护，而不是每个周期性更新中通过快照获取整个数据集来更新。如果数据仓库增加了实时更新功能，可以使用此功能实时维护数据仓库中的主数据。使用不同于交易数据调度的调度对数据仓库中的主数据进行修改，可能会导致特定报表中结果的变化，具体取决于报表定义。主数据在报表生成中用于排序和分组交易数据，因此被称为数据的“维度”。在生成报表时，必须选择是基于交易数据中主数据的状态还是基于报表生成时主数据的状态来分组交易数据，以适应不同报表的需求。例如，销售报表中，销售员是否显示在新的区域或旧的区域取决于其历史销售记录。在计算佣金时，报表需要将销售员在不同城市的历史销售数据显示在其名下，同时根据区域逐年显示销售数据。Krish Krishnan讨论了实时数据仓库更新的重要性，特别关注实时数据集成的应用。他强调了在数据仓库架构中同时使用批处理和实时数据集成方案的价值。

15.2 需要主数据管理方案的原因 对于大多数组织来说，评估是否需要创建一个主数据中心时，只需简单分析此前因数据不一致和错误所带来的成本即可。主数据问题可以被放大成业务处理系统中的巨大问题。 我们希望给予组织的主数据质量以特别关注，提供一个一致认同的、单一或整合的主数据源，供整个组织使用。是否需要主数据管理方案的另一直接判定标准是：在多个系统中更新主数据所带来的成本。 数据集成对主数据管理至关重要，用于整合来自多个操作系统和数据源的数据，并将主数据发放到需要的系统或小组。管理从主数据中心流入或流出数据是主数据管理成败的关键，因此主数据管理架构师有时将数据集成视为主数据管理的一部分。 组织通常基于以下原因之一或两者都实施主数据管理方案： 提供报表：整合主数据视图供整个组织使用。 支持交易：提供一个主数据的中央数据源。 如果组织仅整合业务系统主数据以服务于报表或数据仓库，可以采用批处理数据移动方案，如每天夜间从业务系统向主数据中心更新。 在此情况下，数据整合可能仅限于数据仓库中，不一定需要一个独立的主数据中心。然而，为实时业务系统整合主数据的组织通常会通过商业主数据软件包建立独立的主数据中心。这类商业解决方案功能丰富，通常包括初始数据模型以及与多种标准化实时数据移动方案的连接能力。