Kafka 计算机视觉技术 自定义指令 SQLMAP clojure Backbonejs HammerJS js的点击事件 jq延时 mysql默认密码 erp项目描述 spark数据清洗 abaqus是什么软件 matlab 图像识别 python刷题 centos7安装gcc python调用命令行 搭建java开发环境 java注释 java框架 java时间戳转时间 java结构 python教程下载 内存修改器 雪地求生 微信签名一句话至自己 subscribe 编程语言实现模式 烧饼修改器打不开 位置不可用 苹果x银色 抖音代码 ps蒙版抠图详细教程 服务器文件共享软件 设备管理器在哪 脚本语言 非凡资源搜索器 马哥python 浏览器安卓 桌面cpu性能天梯图
当前位置: 首页 > 学习教程  > 编程语言

hive架构原理

2020/11/4 14:10:05 文章标签:

Hive架构原理 1)用户接口:Client CLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive) 2)元数据:Metastore 元数据包括:表名、表所属的数据…


Hive架构原理


1)用户接口:Client

CLI(command-line
interface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive)

2)元数据:Metastore

元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;

默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore

3)Hadoop

使用HDFS进行存储,使用MapReduce进行计算。

4)驱动器:Driver

(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。

(2)编译器(Physical
Plan):将AST编译生成逻辑执行计划。

(3)优化器(Query
Optimizer):对逻辑执行计划进行优化。

(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说,就是MR/Spark。

在这里插入图片描述

在这里插入图片描述

Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。


本文链接: http://www.dtmao.cc/news_show_350098.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?