大数据技术中CM6.3.1+CDH6.3.2配置Hue+Sentry权限管理指南

大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler是大数据领域的一种解决方案，结合CDH6.3.2集群模式和Dolphinscheduler实现大规模数据处理和分析。CDH6.3.2是Cloudera的分布式Hadoop解决方案，提供完整的Hadoop生态系统。Dolphinscheduler是Apache开源的分布式任务调度器，与CDH6.3.2集成，实现大数据处理的自动化和可靠性。部署前需要进行基础环境配置、JDK、MySQL、Zookeeper和Hadoop安装，创建专用部署用户并配置hosts和ssh实现节点间的通信和数据共享。下载和解压缩Dolp

在大数据领域，Cloudera Manager（CM）和CDH（Cloudera Distribution Including Apache Hadoop）是广泛使用的管理工具和Hadoop发行版。CM6.3.1是Cloudera Manager的一个版本，提供集中界面管理和监控集群各组件。CDH6.3.2则为特定版本，包括多开源大数据项目如HDFS、YARN、HBase、Spark等。Streamsets是数据集成工具，用于实时数据流处理，可创建数据管道，收集多源数据并传输至不同目标。重点介绍在CentOS7系统上使用CM6.3.1和CDH6.3.2单机部署Streamsets3.22.3的

Apache Sentry是Cloudera公司推出的开源Hadoop组件，目前正在Apache孵化阶段。它致力于解决Hadoop生态系统中的数据安全问题，提供细粒度和基于角色的访问控制（RBAC），以及多租户管理。Sentry最初设计用于Hive/Hcatalog、Apache Solr和Cloudera Impala等组件，并计划未来扩展到HDFS和HBase等更多组件。 Sentry的主要作用包括增强数据存储的安全性、扩展终端用户的数据访问权限、促进基于Hadoop的多种应用场景的开发、支持多用户应用程序和合规性标准如SOX、PCI、HIPAA和EAL3。 在Sentry出现之前，传统的

《CDH权限管理文档》详解CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个全面的大数据处理平台，包含了Hadoop生态系统中的多种组件，如HDFS、MapReduce、YARN、HBase等。在CDH环境中，权限管理是保障数据安全和系统稳定运行的重要环节。将围绕CDH权限管理，特别是Kerberos的安装与配置进行详细阐述。 1. 环境介绍 文档中提到的环境由四台机器组成，它们在域ZETYUN.COM下运行，分别担当不同的角色：- cdh-server：作为KDC（Key Distribution Cent

CDH6.3.1版本离线部署详细指南，包括集群初始化、JDK部署、MySQL离线安装以及CM服务器和代理RPM的部署。

CDH6.3.2 版本的rpm包离线下载资源，包括Cloudera Manager和Parcels，提供了便捷的安装方式。

从零开始构建CDH6.3.1集群是一个复杂但关键的过程，需要详细的步骤和配置。这个过程涉及到多个组件的安装和集成，确保系统的稳定性和性能。在这个指南中，我们将深入探讨每个步骤，并提供实用的建议和最佳实践。

CDH6.3.2版本中集成了Tez框架。

Apache Atlas 是一个开源的数据治理平台，主要用于元数据管理、数据血缘、数据安全和数据质量监控。在 Apache Atlas 2.1.0 版本中，进一步优化了与 CDH（Cloudera Data Hub）6.3.1 的兼容性，适用于大规模数据环境。CDH 6.3.1 是 Cloudera 提供的企业级大数据平台，包含 Hadoop、HBase 和 Spark 等多个组件，优化了性能与最新的组件版本，提供全面的数据处理和分析方案。Apache Atlas 2.1.0 编译在 CDH 6.3.1 上，确保与平台的深度集成和功能利用。 关键知识点 元数据管理：Apache Atlas