网络视频直播系统 接口测试 Nodepad 哨兵模式 人脸识别 TCP连接 vue入门 河南普通话考试 kafka默认端口 erp项目描述 matlab对数函数 oracle数据库版本 maven配置eclipse ajax里面可以嵌套ajax吗 kubernetes集群 python图形界面开发 java编程课程 java入门教程 java集合框架 java时间函数 java运算 java实例变量 java集成开发环境 java常用数据结构 网站后台模板 beatedit lol语音包 工信部手机入网查询 算法笔记 python列表求和 js取余数 网页自动点击 mathcad 正则表达式数字 模拟邻居 qq魔法卡片登陆 文件分割 斐讯k3刷机 ps怎么磨皮祛痘 极速pdf转word
当前位置: 首页 > 学习教程  > 编程语言

大数据学习之Spark——11Spark SQL概述

2020/7/24 10:59:47 文章标签:

1. 什么是SparkSQL
  1. Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrameDataSet,并且作为分布式SQL查询引擎的作用。
  2. 我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!
  3. Hive是Shark的前身,Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。
  4. SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念,是Spark能够高效的处理大数据的各种场景的基础。
  5. 能够在Scala中写SQL语句。支持简单的SQL语法检查,能够在Scala中写Hive语句访问Hive数据,并将结果取回作为RDD使用。
2. Spark SQL的特点
  1. 易整合
    在这里插入图片描述

  2. 统一的数据访问方式
    在这里插入图片描述

  3. 兼容Hive
    在这里插入图片描述

  4. 标准的数据连接
    在这里插入图片描述

3. Spark on Hive和Hive on Spark
  1. Spark on Hive: Hive只作为储存角色,Spark负责sql解析优化,执行。
  2. Hive on Spark:Hive即作为存储又负责sql的解析优化,Spark负责执行。
4. 什么是DataFrame
  1. 与RDD类似,DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格,除了数据以外,还记录数据的结构信息,即schema。同时,与Hive类似,DataFrame也支持嵌套数据类型(struct、array和map)。从API易用性的角度上看,DataFrame API提供的是一套高层的关系操作,比函数式的RDD API要更加友好,门槛更低。
    在这里插入图片描述

  2. 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数,但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息,使得Spark SQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么。DataFrame是为数据提供了Schema的视图。可以把它当做数据库中的一张表来对待,DataFrame也是懒执行的。性能上比RDD要高,主要原因:
    优化的执行计划:查询计划通过Spark catalyst optimiser进行优化。
    在这里插入图片描述

  3. 为了说明查询优化,我们来看上图展示的人口数据分析的示例。图中构造了两个DataFrame,将它们join之后又做了一次filter操作。如果原封不动地执行这个执行计划,最终的执行效率是不高的。因为join是一个代价较大的操作,也可能会产生一个较大的数据集。如果我们能将filter下推到 join下方,先对DataFrame进行过滤,再join过滤后的较小的结果集,便可以有效缩短执行时间。而Spark SQL的查询优化器正是这样做的。简而言之,逻辑查询计划优化就是一个利用基于关系代数的等价变换,将高成本的操作替换为低成本操作的过程。

4. 什么是DataSet
  1. 是Dataframe API的一个扩展,是Spark最新的数据抽象。
  2. 用户友好的API风格,既具有类型安全检查也具有Dataframe的查询优化特性。
  3. Dataset支持编解码器,当需要访问非堆上的数据时可以避免反序列化整个对象,提高了效率。
  4. 样例类被用来在Dataset中定义数据的结构信息,样例类中每个属性的名称直接映射到DataSet中的字段名称。
  5. Dataframe是Dataset的特列,DataFrame=Dataset[Row] ,所以可以通过as方法将Dataframe转换为Dataset。Row是一个类型,跟Car、Person这些的类型一样,所有的表结构信息我都用Row来表示。
  6. DataSet是强类型的。比如可以有Dataset[Car],Dataset[Person].
  7. DataFrame只是知道字段,但是不知道字段的类型,所以在执行这些操作的时候是没办法在编译的时候检查是否类型失败的,比如你可以对一个String进行减法操作,在执行的时候才报错,而DataSet不仅仅知道字段,而且知道字段类型,所以有更严格的错误检查。就跟JSON对象和类对象之间的类比。

声明:

  1. 本文参考了尚硅谷Spark课程的课件

本文链接: http://www.dtmao.cc/news_show_50360.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?