大数据查询(免费大数据分析网站)

一、Presto简介

Presto是脸书开发的数据查询引擎，可以快速、交互式地分析超过250PB的数据。

该项目于2012年秋季开始开发。它已被1000多名脸书员工使用，运行了30000多次查询，每日数据处于1PB的水平。脸书普雷斯托的性能比Hive好10倍以上。2013年，脸书正式宣布开源Presto。

大数据查询(免费大数据分析网站)

二、Presto 执行查询过程

Presto查询引擎是一个主从结构，由一个协调器节点、一个发现服务器节点和若干工作节点组成。发现服务器通常嵌入在协调器节点中。协调器负责解析SQL语句，生成执行计划，将执行任务分配给工作节点执行。Worker节点负责实际执行查询任务。工作节点启动后，向发现服务器服务注册，协调器从发现服务器获取可以正常工作的工作节点。如果配置了配置单元连接器，则需要配置配置单元MetaStore服务来为Presto提供配置单元元信息，并且工作节点与HDFS交互读取数据。

大数据查询(免费大数据分析网站)

1.客户端向协调器发送请求。

2.ANTLR解析SQL语句生成AST。

3.AST通过元数据进行语义分析。

4.语义分析后的数据生成逻辑执行计划，并通过规则进行优化。

5.将逻辑执行计划分成不同的阶段，并调度工作节点生成任务。

6.任务生成相应的物理执行计划。

7.调度完成后，协调器根据调度结果串联各级。

8.Worker执行相应的物理执行计划。

9.客户端不断从协调器拉取查询结果，协调器从最终聚合输出的Worker节点拉取查询结果。

三、Presto 为何高性能？

*流水线，全内存计算。

* SQL查询计划规则优化。

*动态代码生成技术。

*数据调度本地化，注重内存开销效率，优化数据结构，缓存，不精确查询等技术。

获取更多Hadoop、HDFS、HBase、MapReduce、YARN、Hive等技术含量。可以访问Hadoop大数据技术专栏。

大数据查询(免费大数据分析网站)

(此处添加了圈卡，请在今日头条客户端查看)

免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。

作者：美站资讯，如若转载，请注明出处：https://www.meizw.com/n/26823.html

大数据查询(免费大数据分析网站)

相关推荐

发表回复