ActiveMQ 计算机视觉技术 typeScript django node.js 北斗系统 云计算架构 Zeptojs vue下载 vue网页 vue异步加载组件 前端vue框架 vue样式 oracle分页关键字 idea大小写转换快捷键 java 数据分析 当前时间减一天 python循环 python数据库 python语言入门 java中的string jdbc连接mysql java连接sql数据库 java获取url参数 redis入门指南 alphacam ad下载 反转颜色 华为交换机学习指南 方正兰亭字体下载 mpg格式转换 视频加字幕软件 list删除指定元素 ps调整边缘抠头发丝 拼多多商家下载 苹果手机不弹出信任 计算机科学概论 搜狐影音播放器 pr抠图 重复文件查找
当前位置: 首页 > 学习教程  > 编程语言

Flink四种集群模式原理

2020/10/16 17:44:59 文章标签:

Flink的集群安装模式 Local——本地单机模式,学习测试使用Standlone——独立集群模式,flink自带集群,学习测试使用standloneHA——独立集群的高可用模式,flink自带集群,开发测试使用On Yarn——计算机资源同意由Hadoo…

Flink的集群安装模式

  1. Local——本地单机模式,学习测试使用
  2. Standlone——独立集群模式,flink自带集群,学习测试使用
  3. standloneHA——独立集群的高可用模式,flink自带集群,开发测试使用
  4. On Yarn——计算机资源同意由Hadoop Yarn管理,生产模式使用

1. Local——本地单机模式

在这里插入图片描述
 
 

2.Standalone——独立集群模式

在这里插入图片描述
 
 

3.StandloneHA——独立集群高可用模式

在这里插入图片描述
 
 

4. On Yarn模式

在这里插入图片描述
1.Client上传jar包和配置文件到HDFS集群上

2.Client向Yarn ResourceManager提交任务并申请资源

3.ResourceManager分配Container资源并启动ApplicationMaster,然后AppMaster加载Flink的Jar包和配置构建环境,启动JobManager

4.ApplicationMaster向ResourceManager申请工作资源,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager

5.TaskManager启动后向JobManager发送心跳包,并等待JobManager向其分配任务
 
 

4.2 On Yarn模式的优点
  1. 资源按需使用分配
    Yarn的资源可以按需使用,提高集群的资源(CPU,内存……)使用率
  2. 支持优先级和多种调度策略
    Yarn的任务有优先级,根据优先级运行作业和灵活的调度策略。
    Yarn的三种调度策略:FIFO调度算法、Capcity调度算法、Fair调度算法
  3. 自带容错机制,实现高可用
    基于Yarn调度系统,能够自动化地处理各个角色地Failover(容错)
    • JobManager进程和TaskManager进程都由Yarn NodeManager监控
    • 如果TaskManager进程异常退出,JobManager会受到消息并重新向Yarn ResourceManager申请资源,重新启动TaskManager
4.3OnYarn 的两种模式
  • 在这里插入图片描述
    优点:可以重复使用在Yarn上开启的Flink集群
    缺点:适合小任务,不适合大任务
  • 在这里插入图片描述
    优点:每个任务单独在Yarn上启动一套Flink集群,适合大任务!
    缺点:需要频繁的在Yanr上开启Flink集群

本文链接: http://www.dtmao.cc/news_show_300058.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?