这份指南为基于英特尔处理器架构优化的 Apache Hadoop* 大数据系统（英特尔® Distribution）软件的优化和调优提供指导。
该指南基于英特尔和客户站点进行的基准测试。它首先讲解了大数据和英特尔® Distribution 软件，然后将 Hadoop 系统分解为其组件层。指南接着提供了有关硬件和软件配置的技巧，然后是针对不同类型工作负载提供英特尔® Distribution 最佳性能的调优最佳实践。
英特尔® Distribution for Apache Hadoop* 优化指南
相关推荐
英特尔® Hadoop® 发行版参考架构
这份文档展示了基于英特尔® 至强® 处理器系列主板和系统的商用集群硬件上，英特尔® Apache Hadoop® 发行版软件的参考架构。
目标受众是寻求在信息技术环境中实施 Apache Hadoop 集群以进行大数据分析的客户和系统架构师。
Hadoop
3
2024-05-23
适用于英特尔FPGA板的HDL验证程序支持包
英特尔FPGA主板的HDL Verifier支持包提供了用于在FPGA在环仿真中定义主板和使用MATLAB或Simulink测试HDL代码的工具。通过FIL仿真，可以实时观察设计的信号，并使用MATLAB进行分析和验证。
Matlab
0
2024-08-26
英特尔展望未来计算：万亿次级芯片助力网络服务新时代
在2006年秋季英特尔信息技术峰会上，英特尔公司高级院士兼首席技术官Justin Rattner描绘了未来计算的愿景：网络软件服务将借助大型数据中心（可容纳超过百万台服务器）实现飞跃，使用户能够从任何高性能设备访问个人数据、媒体和应用，体验全真图像游戏、实时视频分享以及多媒体数据挖掘。
为了满足这一全新使用模型对计算能力的巨大需求，业界需要实现每秒万亿次浮点运算的计算能力以及相应的带宽提升。
数据挖掘
3
2024-05-23
Apache Hadoop中文版权威指南
《Apache Hadoop权威指南》是大数据领域的经典著作，深入介绍了开源分布式计算框架Apache Hadoop。最初由Doug Cutting和Mike Cafarella创建，支持Google的MapReduce和GFS的开源实现。本书的中文版为读者提供了学习Hadoop的便利，深入理解其核心概念和技术。Hadoop核心包括两个主要组件：Hadoop Distributed File System (HDFS)和MapReduce。HDFS是高容错、可扩展的分布式文件系统，专为存储和处理海量数据而设计。MapReduce通过映射和化简两个阶段实现数据的并行处理。NameNode负责HDFS的元数据管理，而DataNodes存储实际数据块并向NameNode报告状态。HDFS具有高容错性，确保在DataNode故障时数据的自动恢复。MapReduce首先将输入数据分割成小片，然后在多台机器上并行运行映射函数生成中间键值对，最后通过化简函数得出最终结果。Hadoop生态系统还包括其他工具和项目，如HBase（分布式列族NoSQL数据库）、Hive（基于SQL的查询语言）、Pig（简化MapReduce编程的高级数据流语言）、ZooKeeper（协调分布式服务）、YARN（资源调度器改进MapReduce性能和资源利用率）。本书详细介绍了Hadoop的安装、配置、使用和实际问题的解决方法，涵盖基础知识及高级主题如数据流优化、故障恢复、安全性和性能调优。对于深入学习Hadoop和大数据处理的读者，这是一本不可或缺的参考书籍。
Hadoop
1
2024-07-22
Apache Hadoop 3.3.4 版本
Apache Hadoop 是一款用于分布式计算的开源软件，提供可靠且可扩展的解决方案。该软件包包含 Hadoop 3.3.4 版本，并提供文件系统 HDFS 和 MapReduce 引擎等组件。您可根据需要使用此版本进行分布式计算和海量数据处理。
Hadoop
3
2024-05-12
Apache Hadoop 之 Avro
Avro 是一种数据序列化系统，专为支持大规模数据交换的应用而设计。其核心特性在于：
二进制序列化： Avro 采用二进制序列化方式，能够高效、快速地处理海量数据。
动态语言友好： Avro 提供的机制使得动态语言能够轻松处理 Avro 数据。
Hadoop
2
2024-05-15
Apache Hadoop 2.7.5 64位CentOS编译指南
Apache Hadoop是一个开源的分布式计算框架，高效处理和存储大数据。版本2.7.5带来了多项性能改进、错误修复和新特性。压缩包'hadoop-2.7.5.tar.gz'专为64位CentOS编译优化，确保在此环境下稳定运行。核心组件包括HDFS，一个高度容错的分布式文件系统，YARN负责资源管理和调度，以及MapReduce数据处理框架。详细安装步骤包括解压文件、设置环境变量和配置调整。
Hadoop
0
2024-08-08
Apache Hadoop指南第三版详解
书籍描述：通过这个数字早期发布版的《Apache Hadoop指南：第三版》，您将获得作者最初的未编辑内容，能够在正式发布前充分利用这些内容。当重大变更发生时，您还将收到更新通知，以及最终的电子书版本。准备好释放您庞大数据集的潜力了吗？通过这个全面资源的最新版本，您将学习如何使用Apache Hadoop构建和维护可靠、可扩展、分布式系统。它非常适合希望分析任何规模数据集的程序员，以及想要设置和运行Hadoop集群的管理员。
Hadoop
0
2024-08-14
Apache Hadoop 2.7.2 版本发布
Apache Hadoop 2.7.2 是 2.x.y 版本系列中的次要版本，在此前稳定的 2.7.1 版本基础上构建。以下是主要特性和改进的简要概览：
使用 HTTP 代理服务器时，公共认证改进。通过代理服务器访问 WebHDFS 时，该功能非常有用。
一个新的 Hadoop 指标接收器，可以直接写入 Graphite。
与 Hadoop 兼容文件系统 (HCFS) 相关规范工作。
HDFS 支持 POSIX 风格的文件系统扩展属性。有关更多详细信息，请参阅用户文档。
现在，客户端可以使用 OfflineImageViewer 通过 WebHDFS API 浏览 fsimage。
NFS 网关收到了一些可支持性改进和错误修复。不再需要 Hadoop 端口映射器来运行网关，网关现在能够拒绝来自未授权端口的连接。
SecondaryNameNode、JournalNode 和 DataNode Web UI 已使用 HTML5 和 JavaScript 实现现代化。
YARN 的 REST API 现在
Hadoop
2
2024-05-01