大数据技术中CM6.3.1+CDH6.3.2配置Hue+Sentry权限管理指南

大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler是大数据领域的一种解决方案，结合CDH6.3.2集群模式和Dolphinscheduler实现大规模数据处理和分析。CDH6.3.2是Cloudera的分布式Hadoop解决方案，提供完整的Hadoop生态系统。Dolphinscheduler是Apache开源的分布式任务调度器，与CDH6.3.2集成，实现大数据处理的自动化和可靠性。部署前需要进行基础环境配置、JDK、MySQL、Zookeeper和Hadoop安装，创建专用部署用户并配置hosts和ssh实现节点间的通信和数据共享。下载和解压缩Dolphinscheduler二进制包后，可以在多台机器上实现集群模式部署，提升数据处理效率和可扩展性。

在大数据领域，Cloudera Manager（CM）和CDH（Cloudera Distribution Including Apache Hadoop）是广泛使用的管理工具和Hadoop发行版。CM6.3.1是Cloudera Manager的一个版本，提供集中界面管理和监控集群各组件。CDH6.3.2则为特定版本，包括多开源大数据项目如HDFS、YARN、HBase、Spark等。Streamsets是数据集成工具，用于实时数据流处理，可创建数据管道，收集多源数据并传输至不同目标。重点介绍在CentOS7系统上使用CM6.3.1和CDH6.3.2单机部署Streamsets3.22.3的操作，需准备Parcel包。Parcel是CDH分发机制，允许集群内一致受控部署软件包。下载需包括Manifest元数据、Streamsets数据收集器Parcel及其SHA校验和文件、以及定义Streamsets在CDH服务配置的CSD文件。上传至/opt/cloudera/parcel-repo和/opt/cloudera/csd目录后，通过CDH UI管理界面完成集成，确保Streamsets服务在所有节点正确配置和启动。

Apache Sentry是Cloudera公司推出的开源Hadoop组件，目前正在Apache孵化阶段。它致力于解决Hadoop生态系统中的数据安全问题，提供细粒度和基于角色的访问控制（RBAC），以及多租户管理。Sentry最初设计用于Hive/Hcatalog、Apache Solr和Cloudera Impala等组件，并计划未来扩展到HDFS和HBase等更多组件。 Sentry的主要作用包括增强数据存储的安全性、扩展终端用户的数据访问权限、促进基于Hadoop的多种应用场景的开发、支持多用户应用程序和合规性标准如SOX、PCI、HIPAA和EAL3。 在Sentry出现之前，传统的HDFS授权模型只能控制文件级别的访问，而Sentry提供了更细粒度的访问控制，支持针对Hive和Impala的服务器、数据库、表和视图层面的权限管理。 总体来说，Sentry通过安全授权、细粒度访问控制和基于角色的管理，有效解决了Hadoop生态系统中的数据安全挑战。

《CDH权限管理文档》详解CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一个全面的大数据处理平台，包含了Hadoop生态系统中的多种组件，如HDFS、MapReduce、YARN、HBase等。在CDH环境中，权限管理是保障数据安全和系统稳定运行的重要环节。将围绕CDH权限管理，特别是Kerberos的安装与配置进行详细阐述。 1. 环境介绍 文档中提到的环境由四台机器组成，它们在域ZETYUN.COM下运行，分别担当不同的角色：- cdh-server：作为KDC（Key Distribution Center）和CM（Cloudera Manager）服务器，负责Kerberos服务的部署和管理。- cdh-agent1, cdh-agent2, cdh-agent3：作为CDH的代理节点，运行各种数据处理服务。 2. Kerberos安装及配置 Kerberos是一种网络认证协议，它通过密钥分发中心（KDC）为用户提供身份验证服务，确保网络资源的安全访问。 2.1 安装 在CDH环境中，Kerberos的安装首先要在服务器端进行，接着在各个代理节点上安装客户端工具。 2.1.1 检查系统中已有的Kerberos相关包在cdh-agent1上，可以使用yum list | grep krb5命令检查已安装的Kerberos软件包。 2.1.2 在cdh-server上安装Kerberos服务器组件执行yum install krb5-server krb5-auth-dialog krb5-libs krb5-workstation krb5-devel -y安装必要的服务端软件。 2.1.3 在代理节点安装Kerberos客户端工具执行yum install krb5-workstation krb5-devel -y安装客户端所需的软件。 2.2 配置 Kerberos涉及两个主要的配置文件：kdc.conf和krb5.conf。 配置kdc.conf 修改/var/kerberos/krb5kdc/kdc.conf文件，设置KDC的端口、密钥类型、ACL文件、字典文件、管理员key等相关参数。

CDH6.3.1版本离线部署详细指南，包括集群初始化、JDK部署、MySQL离线安装以及CM服务器和代理RPM的部署。

CDH6.3.2 版本的rpm包离线下载资源，包括Cloudera Manager和Parcels，提供了便捷的安装方式。

从零开始构建CDH6.3.1集群是一个复杂但关键的过程，需要详细的步骤和配置。这个过程涉及到多个组件的安装和集成，确保系统的稳定性和性能。在这个指南中，我们将深入探讨每个步骤，并提供实用的建议和最佳实践。

CDH6.3.2版本中集成了Tez框架。

Apache Atlas 是一个开源的数据治理平台，主要用于元数据管理、数据血缘、数据安全和数据质量监控。在 Apache Atlas 2.1.0 版本中，进一步优化了与 CDH（Cloudera Data Hub）6.3.1 的兼容性，适用于大规模数据环境。CDH 6.3.1 是 Cloudera 提供的企业级大数据平台，包含 Hadoop、HBase 和 Spark 等多个组件，优化了性能与最新的组件版本，提供全面的数据处理和分析方案。Apache Atlas 2.1.0 编译在 CDH 6.3.1 上，确保与平台的深度集成和功能利用。 关键知识点 元数据管理：Apache Atlas 提供强大的元数据管理功能，如数据模型定义、实体建模、分类和标签。这在 CDH 环境中帮助用户更好地理解数据结构和含义，提高分析效率。 数据血缘：Apache Atlas 能追踪数据的来源和流向，便于数据治理和问题排查。用户在 CDH 中可以清晰看到每一步数据处理过程，有助于流程优化和问题快速定位。 数据安全：通过定义敏感数据标签，Apache Atlas 支持访问控制，确保只有授权用户访问特定数据。在 CDH 6.3.1 中，数据安全进一步增强，为组织提供了更高的数据保护。 数据质量：Apache Atlas 2.1.0 提供数据质量监控和度量，支持数据清洗和校验规则。结合 CDH，用户能实时检测数据质量问题，确保分析结果准确。 集成与扩展：Apache Atlas 设计时考虑了与 Hive、HBase、Kafka 等系统的集成。这些集成在 CDH 中，使数据治理无缝嵌入现有大数据工作流。 API与插件：Apache Atlas 提供 RESTful API，便于开发人员构建自定义工具，扩展元数据管理功能。对于 CDH 6.3.1 用户，API 使其能够按需定制管理方案。 性能提升：Apache Atlas 2.1.0 的性能优化，使其处理大量元数据更高效，满足大规模数据治理需求。