2019年大数据国赛试题(2) (1)

提供数据集“0323大数据面试题SQL.docx”，涵盖大数据面试中常见的SQL相关题目。

中国信通院发布的《大数据白皮书》 和 中国电子技术标准化研究院发布的《大数据标准化白皮书》

这是2017年全国职业院校技能大赛大数据技术与应用赛项的比赛试题。

此文档包含了2019年中国最新的省、自治区、直辖市和特别行政区划分，涵盖所有行政级别信息。

【大数据技术之Hadoop入门】 Hadoop是由Apache基金会开发的分布式系统基础架构，主要用于解决大规模数据的存储和分析计算问题。它起源于Doug Cutting创建的Lucene项目，实现类似Google的全文搜索功能。随着数据量的增加，Lucene面临与Google相似的挑战。Cutting及其团队学习并模仿了Google的解决方案，例如GFS（Google文件系统）对应HDFS（Hadoop分布式文件系统），Map-Reduce对应Hadoop的MapReduce计算框架，而BigTable启发了HBase的发展。Hadoop的发展可以追溯到2001年，当时Lucene成为Apache基金会的子项目。2003年至2004年，随着Google公开GFS和MapReduce的部分细节，Cutting等人在两年内基于这些概念开发了DFS和MapReduce，极大地提升了Nutch的性能。2005年，Hadoop正式成为Apache基金会的一部分，其名称源自Cutting的儿子的玩具大象。Hadoop有三个主要版本：Apache、Cloudera和Hortonworks。Apache版本是最原始的版本，适合初学者学习。Cloudera广泛应用于大型互联网企业，提供支持、咨询和培训等商业解决方案，其产品CDH在兼容性、安全性和稳定性方面有所增强，Cloudera Manager则是集群部署和管理的平台。Hortonworks由雅虎工程师创立，对Hadoop的贡献非常大，其主打产品HDP是100%开源的，包含了Ambari等管理工具以及对Hive性能优化的HCatalog。Hadoop生态系统包括多个组件，如HDFS用于分布式存储，MapReduce负责大数据处理，YARN作为资源管理系统，HBase是NoSQL数据库，Zookeeper提供分布式协调服务，Hive提供类似SQL的接口进行数据分析，Pig简化了大数据处理的编程模型，Oozie是工作流调度系统，Sqoop用于Hadoop和传统数据库之间的数据导入导出，Flume用于日志收集和传输。Hadoop的核心特性包括高容错性、可扩展性和成本效益。通过数据的分布式存储和计算，Hadoop能够处理PB级别的数据。

深入解析HIVE：2019年面试题精粹 这份题集涵盖了2019年常见的HIVE面试问题，深入探讨HIVE的核心概念和技术细节，助你轻松应对面试挑战。 核心主题： HIVE架构与原理 数据类型与文件格式 分区表与分桶表 HQL语法与优化技巧 性能调优与故障排除 实际应用案例分析 通过学习这份题集，你将能够： 全面掌握HIVE的核心知识点 深入理解HIVE的工作机制 提升HQL编写能力和查询优化技巧 解决实际工作中遇到的HIVE问题 在面试中脱颖而出 立即开始学习，开启你的HIVE之旅！

这份数据包含了截至2019年中国城市的GDP和人口信息，以Excel格式呈现，适用于数据分析。 数据格式如下： | ID | 省份 | 地市 | GDP | 人口 | 人均GDP ||---|---|---|---|---|---|| 1 | 江苏 | 苏州 | 18597.00 | 1068.40 | 17.41 || 2 | 江苏 | 南京 | 12820.00 | 8335.00 | 1.54 || 3 | 江苏 | 无锡 | 11438.00 | 655.30 | 17.45 || 4 | 江苏 | 南通 | 8427.00 | 730.50 | 11.54 || 5 | 江苏 | 常州 | 7050.00 | 4771.70 | 1.48 |

这份由中国信息通信研究院发布的白皮书，对2018年国内外大数据产业发展现状、趋势及政策进行了深度分析。

2019年国赛C题数据分析二等奖作品——论文+代码 银行的借贷是中小微企业发展的命脉，为了帮助银行科学地对中小微企业确定信贷决策，从财务维度、客户维度、信誉维度、内部业务维度四个方面分析，以决策树模型、聚类分析为基础建立了多变量信用风险判别模型。 针对问题一：通过查阅文献资料，首先在四个维度的基础上，确立了对于信贷风险分析具有决定性作用的7个指标：销售净利率、成本费用收益率、负数税额比率、有效发票率、营业额增长率。借助主成分分析法确定了其中较为重要的因素，并对附件1中的123家企业的信贷风险进行了量化评分，后根据评分采用聚类分析，将企业的信贷风险的等级划分为5类：高风险、较高风险、中风险、较低风险、低风险。根据信贷风险的不同等级在总企业中的占比，进行了不同等级企业的贷款额度粗划分。运用目标规划模型，确定以银行所获最大利润为目标函数，并运用拟合，得到贷款年利率与客户流失率之间的函数关系，最终确定了不同等级对应的贷款年利率，得到相应的贷款政策。 针对问题二：应用决策树对附件2中的302个企业进行信誉等级评估和是否违约预测，并将预测值转化为信贷风险的评价参量，在问题一的模型基础上进一步完善了信用风险评估。