数据封装-Hadoop简介

本课程指导您使用SAS编程方法读写和操作Hadoop数据。涵盖的基础SAS方法包括：使用DATA步骤读写原始数据、管理Hadoop文件系统，以及通过HADOOP过程从SAS执行Map-Reduce和Pig代码。此外，本课程还包括SAS/ACCESS Interface to Hadoop方法，该方法允许LIBNAME访问和SQL直通技术，以读写Hadoop HIVE或Cloudera Impala表结构。虽然没有详细介绍，但本课程还简要概述了额外的SAS和Hadoop技术，包括DS2、高性能分析、SAS LASR Server和内存统计，以及支持这些技术的计算基础设施和数据访问方法。本课程包含在Expert Exchange on Hadoop：使用SAS/ACCESS服务配置SAS/ACCESS Interface to Hadoop或SAS/ACCESS Interface to Impala以配合您的Hadoop环境。

Hadoop是一个分布式计算框架，用于处理海量数据。它由两部分组成：Hadoop分布式文件系统（HDFS）和MapReduce。HDFS负责存储数据，而MapReduce负责处理数据。要部署Hadoop，需要安装HDFS和MapReduce，并进行配置。

Hadoop始于Google的Nutch项目，后被开源。2006年，其核心组件NDFS和MapReduce被移出Nutch，成为Hadoop子项目。2007年，Apache Hadoop项目启动，专注于MapReduce和HDFS的独立开发。2008年，Hadoop成为Apache顶级项目。

Apache Hadoop作为广泛应用的开源分布式存储和计算框架，推动了大数据处理的发展。在超过1000个节点的集群中，如何有效收集和分析集群信息成为关键问题。Apache Chukwa作为Hadoop的扩展，专为监控大型分布式系统设计，特别是在Hadoop环境中扮演重要角色。它支持超过2000个节点的集群监控，能够处理每天产生的大量数据，提供监控、分析和优化集群性能的功能。Chukwa的核心架构包括agents、adaptors、collectors和HICC，为用户提供全面的数据展示和性能优化工具。

利用封装机制，数据库底层开闭，规避重复编写数据库开关函数。配置信息可通过配置文件设定，避免频繁修改代码块中数据库密码和用户名等内容。

Cloudera企业版是业界领先的企业级数据平台软件，不仅包含基于开源Hadoop及其生态组件构建的CDH核心，还集成了丰富的高级管理功能，以支持企业级业务需求。借助Cloudera企业版的全面解决方案，企业能够专注于其核心业务。

Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，处理大数据存储和处理需求。它通过在廉价硬件上分布数据和计算任务来提供高容错性和高可靠性。HDFS适用于需要处理大规模数据的应用场景，如数据分析和机器学习。

Hadoop进阶课程介绍了Mahout，这是一个Apache Software Foundation（ASF）支持的开源项目，专注于提供多种可扩展的机器学习算法，帮助开发者轻松构建智能应用。Mahout涵盖了聚类、分类、推荐系统和频繁模式挖掘等多个机器学习任务，适用于大数据处理领域，例如推荐系统、文本挖掘和社交网络分析等。利用Apache Hadoop的强大计算能力，Mahout能够在分布式环境中高效处理和分析数据。

使用PyMySQL 封装的MySQL操作类，开源共享。