元数据管理

元数据是描述数据仓库的信息，充当数据仓库的“语言”。它使分析引擎了解数据仓库的结构和对象。通过元数据，系统独立运作，通过元数据桥梁进行沟通。BI@Report 的元数据包括：- 主题表描述- 维表描述- 度量和维度描述- 报表定义- 查询定义- 门户- 权限信息

Apache Atlas是Hadoop社区开源的元数据治理项目，解决Hadoop生态系统中的元数据管理挑战。它为Hadoop集群提供数据分类、策略引擎、数据血缘追踪、安全和生命周期管理等核心能力，帮助企业构建数据资产目录并进行有效管理。Apache Atlas与Apache Ranger整合，用于数据权限控制策略，为企业数据湖提供完整的合规性和集成性解决方案。

业务元数据是未来元数据管理的关键。在数据爆炸式增长的今天，企业需要加强对业务元数据的管理。基于本体和自动化技术，企业可以有效管理和利用业务元数据，并将其以服务的形式提供给业务人员，从而提高数据的使用效率。

在任何数据管理方案中，元数据都是至关重要的一部分。面对存储和管理外部及非结构化数据时，元数据的角色显得尤为关键。图示元数据在数据仓库环境中对外部数据的注册、访问与控制起着重要作用。元数据包括文件标识符、进入仓库日期、文件描述、来源日期、分类、索引字、清理日期、物理地址引用、文件长度及相关参考等内容，通过这些元数据管理者能够获取关键的外部数据信息。

元数据管理平台採用B/S架构，以先进技術進行開發，遵循以下原則： 迭代開發與面向對象設計：遵循軟體工程原則進行開發。 遵循設計原則：設計時遵循明確原則，確保平台穩定可靠。 運用先進技術：採用最新技術，優化平台效能。

EsPowerMeta元数据管理平台产品特色 亿信元数据管理平台元模型以Meta Object Facility(MOF)规范为基础，支持XMI格式的元模型导入和导出，同时内置大量技术元数据、业务元数据的元模型，用户可直接使用。元模型管理对元模型的基本信息、属性、父子关系、依赖关系、组合关系的增删改查操作，内置元模型的内置信息不允许修改或者删除，但可进行新增操作。 一、规范的元模型管理 EsPowerMeta元数据管理平台的核心之一在于其规范化的元模型管理能力。该平台采用了Meta Object Facility (MOF)规范作为基础，MOF是一种由OMG（Object Management Group）制定的标准，用于定义和管理元数据的标准框架。这种规范化的采用使得EsPowerMeta能够支持XMI（XML Metadata Interchange）格式的元模型导入和导出，这不仅提高了平台的灵活性，同时也确保了与其他系统之间的兼容性。此外，EsPowerMeta内置了大量的技术元数据和技术元数据的元模型，用户可以直接使用这些预定义的元模型，无需从零开始构建。平台提供了对元模型基本信息、属性、父子关系、依赖关系、组合关系的增删改查操作。值得注意的是，内置元模型的信息不允许直接修改或删除，但用户可以根据需要新增元模型。这一特性既保证了元模型的一致性和稳定性，又给予了用户足够的自由度来进行扩展。 二、端到端的自动化采集 除了规范的元模型管理之外，EsPowerMeta还具备强大的自动化采集能力。通过对内置采集适配器的利用，用户可以通过简单的数据源参数配置以及设置定时采集任务，实现从数据源到元数据管理平台的端到端自动化采集。这种自动化的采集方式极大地减轻了用户的手动工作负担，提高了元数据采集的效率和准确性。 三、全面的采集适配器 为了进一步提高采集的灵活性和覆盖范围，EsPowerMeta提供了丰富的内置采集适配器。这些适配器覆盖了市场上常见的多种数据源，如亿信BI、i@Report、各种数据库（包括但不限于Greenplum、MySQL、Oracle、PostgreSQL、SQL Server等）、Elasticsearch、HBase等。这意味着用户可以轻松地从各种不同的数据源中收集元数据。

随着数据仓库技术的发展，元数据在数据仓库中的重要性日益凸显。元数据不仅定义了数据仓库的功能，指示了信息的内容和位置，描述了数据的提取和转换规则，还管理了数据仓库的主题及相关信息。它不仅实现了数据仓库的管理功能，如数据的修改和跟踪，描述数据同步需求，评估数据质量等，也作为管理数据和知识的基本元素。元数据将成为数据生产、存储、更新和再利用的趋势。尽管数据仓库元数据研究受到广泛关注，但尚未建立成熟的理论体系或明确的定义。建立统一的数据仓库元数据模型和管理规范，是该领域亟需解决的问题。通过研究现有的多维表元数据建模方法和ERP建模体系，确立了基于ERP建模体系的数据仓库多维表元数据建模方法。应用面向对象程序设计工具和关系数据库工具，研究了数据仓库元数据的实现和管理。通过定义指标实体、维度实体、详细类实体和关系实体，引入动态数组技术，以及解决实体结构动态修改问题的属性分离算法，深入研究了关联规则挖掘过程中元数据的重要作用。

Atlas 2.2.0 版本源码编译包 (apache-atlas-2.2.0-server.tar.gz) 集成了 HBase 和 Solr，可以直接用于生产环境部署。

PROBE的元数据管理方案详细界定了技术和业务元数据的管理范围，使业务人员能够理解元数据的维度和公式定义，并通过在线报表形式发布。

深入探索数据存储、组织与管理的核心技术，了解其在信息时代的关键作用。掌握高效的数据操作方法，为决策提供有力支持。