hive on spark

spark中不要有hive的jar包，需重新编译，适用于hive2.3、hadoop2.7.6

Spark以其优异的性能和灵活性取代Hive，成为实现ETL作业的首选技术。

Hadoop、Hive、Spark 配置修改 本指南介绍如何在 Hadoop、Hive 和 Spark 中修改和添加配置信息。 Hadoop 配置 Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop 目录下。 一些常用的配置文件包括： core-site.xml：Hadoop 核心配置 hdfs-site.xml：HDFS 配置 yarn-site.xml：YARN 配置 mapred-site.xml：MapReduce 配置 可以通过修改这些文件中的属性来配置 Hadoop。 Hive 配置 Hive 的配置文件位于 $HIVE_HOME/conf 目录下。 一些常用的配置文件包括： hive-site.xml：Hive 的主要配置文件 hive-default.xml.template：Hive 默认配置模板 可以通过修改 hive-site.xml 文件中的属性来配置 Hive。 Spark 配置 Spark 的配置文件位于 $SPARK_HOME/conf 目录下。 一些常用的配置文件包括： spark-defaults.conf：Spark 默认配置 spark-env.sh：Spark 环境变量 可以通过修改这些文件中的属性来配置 Spark。

此版本 Spark 2.3.1 为无 Hive 版本，使用 Maven 重新编译 Spark 源代码，可用于实现 Hive on Spark 功能。

提供Hortonworks Hive ODBC和Microsoft Spark ODBC连接驱动，支持32位和64位系统。

在大数据处理领域，Spark和Hive是两个非常重要的工具。Spark以其高效的内存计算和强大的分布式处理能力，成为实时计算的首选；而Hive则通过其SQL接口和数据仓库功能，简化了大数据分析。当这两者融合时，Spark-Hive模块为大数据处理提供了灵活且高效的解决方案。详细探讨了Spark-Hive技术在2.11-2.1.4-SNAPSHOT版本中的关键知识点，包括元数据集成、HQL支持、数据源API的应用以及性能优化和动态分区插入等内容。

Spark 1.6.3 二进制文件，不包含 Hive，已在 Hadoop 2.8.2 和 Hive 2.1.1 下测试通过。

针对Hive on Spark在CDH 6.3.0环境下的调优，总结生产经验

这是一个毕业设计项目，包含经助教老师测试通过的课程设计和项目源码。系统运行稳定，欢迎下载交流。请下载后首先查阅README.md文件。

在大数据领域，Spark和Hive是两个关键工具。Spark以其高效的计算性能和强大的数据处理API，成为了大数据处理的首选框架。与此同时，Hive以其SQL接口和对大规模数据仓库的支持，深受数据仓库和ETL工作的青睐。深入探讨了如何利用Spark 2.1的API操作Hive表，并通过源码分析解析其内部机制。文章详细介绍了在Spark中配置Hive的元数据存储位置和配置文件路径的步骤。同时，展示了通过SparkSQL接口读取和写入Hive表的示例，以及底层实现涉及的关键组件。