Presto

本资源包包含 Presto 0.196 服务器、命令行客户端以及可视化客户端，为您提供完整的 Presto 使用体验。

《Presto技术内幕》这本书详细探讨了Presto作为高效、分布式的SQL查询引擎的核心技术及其广泛应用。Presto由Facebook开源，用于在诸如Hadoop HDFS、Amazon S3、Cassandra等多种数据源上执行快速的交互式查询。主要技术包括分布式架构，无共享设计，通过协调节点和工作者节点实现任务分配；查询优化器利用成本模型生成高效执行计划；支持插件化数据源和内存计算，以及多种连接器和完整的SQL支持。安全性和性能调优也是其关注重点。详尽的监控与日志功能确保了系统的稳定运行。

Presto-Web 查询工具，基于 Yanagishima 18.0 版本，支持查询 Presto 和 Hive 数据库。

该包可将 Presto 集成至 HDP，已测试成功，可正常使用。

presto-oracle-0.147.jar文件能够在Presto 0.147版本中实现与Oracle数据库的连接，为数据分析和处理提供支持。

Hive 基于 MapReduce 框架，将查询转换为一系列串行执行的任务，中间结果依赖磁盘读写进行同步。Presto 则采用定制的查询和执行引擎，所有查询处理均在内存中完成，因此性能更优。

服务治理及架构优化 京东实践案例

marcelopaesrech的Presto连接Oracle的非官方连接器提供了与Oracle数据库的集成解决方案。

在News Break的数据平台上，Hudi和Presto被整合，构建了现代化的数据架构，实现了快速摄入和统一模式下的查询。 News Break的数据架构从传统的CDH集群迁移到AWS，目标是减少数据处理延迟，使其在99.5th百分位下少于15分钟。Hudi在这个过程中起到了关键作用，支持多源写入和先连接后存储的策略，确保数据一致性。使用Hudi 0.1版本，相比之前的0.9和0.7版本，性能显著提升，默认的gzip压缩提高了30%的性能。DeltaStreamer工具减少了编码工作量，实现了Merge-on-Read模式。Hudi引入了protobuf schema的支持，允许自定义payload类和transformer类进行过滤和基本指标计算。使用FileBasedSchemaProvider和ProtoClassBasedSchemaProvider，可以更好地处理各种数据源。Hudi与HMS集成，并与Presto和Spark一起使用，提供了一体化的数据处理能力。Presto选择了版本0.275，基于Twilio的最佳实践，优化了Hudi支持。为了优化跨分区查询性能，Hudi 0.11.0作为编译时依赖项引入。自定义开发包括跳过全局动态分配，增加Alluxio本地缓存支持，以及开发Presto-event-stream插件，将所有查询事件以schema形式发送到Kafka。Presto在两个集群、1600个核心上运行，每月处理55万查询，读取6PB数据。

大数据技术之Presto Presto是一个开源的分布式SQL查询引擎，用于交互式分析查询，支持的数据量范围从GB到PB级别。Presto的设计初衷是满足像Facebook这样的大型商业数据仓库对交互式分析和处理速度的需求。 Presto适合多种在线数据查询，支持包括Hive、关系数据库（MySQL、Oracle）以及专有数据存储等多种数据源。主要用于响应时间在1秒至数分钟的场景。 Presto架构 Presto的架构是一个分布式系统，包括Coordinator和多个Worker：- Coordinator：负责解析查询语句、执行计划分析，并管理Presto的Worker节点。- Worker：负责执行任务并处理数据。Coordinator还会跟踪每个Worker的活动情况并协调查询的执行。 数据源与Connector 在Presto中，通过Connector访问数据源。Connector是连接Presto和数据源（如Hive、关系数据库）的适配器。Presto内建了多个Connector，包括JMX、System Connector、Hive Connector和TPCH Connector。此外，还有多个第三方Connector可供使用。 Catalog是用于管理数据源metadata的概念。每个Catalog都基于一个特定的Connector。在配置catalog时，必须包含connector.name属性，来指定Catalog使用的Connector。 应用场景与优缺点 Presto适用于交互式分析、数据仓库、报表生成、数据挖掘等应用场景，支持多种数据源集成（如Hive、关系数据库和专有数据存储）。查询语言为SQL，支持select、insert、update、delete等模式。 优点：- 高性能：处理大规模数据时，响应时间短。- 高度扩展性：支持水平扩展，通过增加Worker节点提升数据处理能力。- 灵活性：支持多种数据源与查询模式。 缺点：- 复杂性：架构和实现复杂，需专业运维人员管理。- 限制性：无法用于在线事务处理（OLTP）。