Kerberos认证原理 大数据 hash 远程桌面登陆 微信小程序实战教程 Java Spring list matrix scroll ionic3 vue添加class angularjs视频教程 erp项目描述 matlab中axis 数据库教程 python正则表达式语法 java数据库连接 java集合 java开发环境搭建 java日期函数 java终止线程 java获取现在时间 linux系统教程 脚本之家 js删除数组指定元素 源计划卡特 pr滤镜插件 winhex使用教程 完美手游模拟器 心理学与生活pdf 云管家 拼多多商家下载 网络驱动 现代操作系统 deallocate 古特里克的杀生刀 ps字体描边 红巨星插件 max2014 zepto下载
当前位置: 首页 > 学习教程  > 编程语言

Hadoop生态圈组件之kafka

2020/11/24 9:42:42 文章标签: 测试文章如有侵权请发送至邮箱809451989@qq.com投诉后文章立即删除

kafka:高吞吐量分布式发布订阅式消息队列 kafka特性: 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,延迟最低只有几毫秒。 可扩展性:kafka集群支持热扩展。 持久性、可靠性:消息被持久化到本地磁盘…

kafka:高吞吐量分布式发布订阅式消息队列

kafka特性:

高吞吐量、低延迟:kafka每秒可以处理几十万条消息,延迟最低只有几毫秒。

可扩展性:kafka集群支持热扩展。

持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份,防止数据丢失。

容错性:允许集群中节点失败(最少有个副本本节点是好的)。

高并发:支持数千个客户端同时读写。

应用场景:

1、日志收集:收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer。

2、消息系统:解耦和生产者和消费者、缓存消息

3、用户活动跟踪:记录用户的各种活动。

4、运营指标:记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。

5、流式处理数据源:比如spark streaming和strom。

kafka构架组件:

topic:消息存放的目录即主题

producer:生产消息到topic的一方

consumer:订阅topic消费消息的一方

broker:kafka的服务实例就是一个broker

在这里插入图片描述


本文链接: http://www.dtmao.cc/news_show_400111.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?