当前位置: 首页 > 站内搜索

搜索结果

2021/3/6 3:11:25 查询Tags标签:Kafka,共有38条记录
  • 【消息队列】Kafka概要

    文章目录一、前言二、Kafka的 消费 生产2.1 一点一点来认识消息队列,一点一点来认识Kafka2.1.1 一个生产者一个消费者2.1.2 引入topic:因为多个队列,所以要给队列命名,引入topic2.1.3 引入partition:多个生产者--&am…

    2020/10/1 21:30:56 11次浏览
  • Kafka集群常用命令行操作

    Kafka集群常用命令行操作 文章目录Kafka集群常用命令行操作1、创建topic2、查看主题命令3、生产者生产数据4、消费者消费数据5、运行describe topics命令6、增加topic分区数7、增加配置8、删除配置9、删除topic1、创建topic 创建一个名字为test的主题, 有三个分区&…

    2020/10/1 13:06:34 2次浏览
  • 最新版 springboot集成kafka

    在上一篇文章中介绍了怎么在mac系统上搭建kafka,既然搭建成功了,肯定要集成到项目中使用啊,但是怎么集成呢,这里把我本人集成的代码以及怎么一步步集成的放上来,源码也会在本文的后面放出,下面来跟我一起看…

    2020/10/1 13:06:33 3次浏览
  • SpringBoot Kafka 整合使用

    这里的图片链接挂了 请查看我自己博客文章 http://www.54tianzhisheng.cn/2018/01/05/SpringBoot-Kafka/ 前提 假设你了解过 SpringBoot 和 Kafka。 1、SpringBoot 如果对 SpringBoot 不了解的话,建议去看看 DD 大佬 和 纯洁的微笑 的系列博客。 2、Kafka Kaf…

    2020/10/1 13:06:33 3次浏览
  • 【Kafka】kafka拓扑架构

    1 kafka拓扑架构 Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多…

    2020/10/1 13:06:32 6次浏览
  • Kafka源码环境搭建

    欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。 欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-source-code-environment-build/ 本文…

    2020/10/1 13:06:32 7次浏览
  • 启动kafka失败报内存不足(Cannot allocate memory)

    原因分析,因为我的虚拟机内存一共才1G 查看一下我的虚拟机内存还剩余多少? 天呐,我的只有60M了 我们看下kafka的启动脚本 vim kafka-server-start.sh 看见下面的脚本文件内容没有,默认是1G,而我只有60M&#xff0…

    2020/10/1 13:06:31 2次浏览
  • 大数据技术之kafka (第 3 章 Kafka 架构深入 ) 消费者组案例

    1)需求:测试同一个消费者组中的消费者,同一时刻只能有一个消费者消费。 2)案例实操 (1)在 backupo01、backupo02 上修改/usr/local/hadoop/kafka/kafka_2.12-2.4.1/config/consumer.properties 配置 文件…

    2020/10/1 13:06:31 3次浏览
  • SpringBoot集成kafka全面实战

    本文是SpringBootKafka的实战讲解,如果对kafka的架构原理还不了解的读者,建议先看一下《大白话kafka架构原理》、《秒懂kafka HA(高可用)》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 …

    2020/10/1 13:06:31 3次浏览
  • Kafka常用命令之kafka-console-consumer.sh

    kafka-console-consumer.sh 脚本是一个简易的消费者控制台。该 shell 脚本的功能通过调用 kafka.tools 包下的 ConsoleConsumer 类,并将提供的命令行参数全部传给该类实现。 注意:Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标…

    2020/10/1 13:06:30 4次浏览
  • 如何使用Docker内的kafka服务

    基于Docker可以很轻松的搭建一个kafka集群,其他机器上的应用如何使用这个kafka集群服务呢?本次实战就来解决这个问题。 基本情况 整个实战环境一共有三台机器,各自的职责如下图所示: IP地址身份备注192.168.1.102消息生产者这是…

    2020/10/1 13:06:30 4次浏览
  • Kafka 命令行操作

    1)查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper backup01:2181 使用命令 bin/kafka-topics.sh --list 报异常,提示必须依赖zookeeper 前面我们就讲过kafka是依赖于zookeeper 连上zookeeper什么都没有输出,因为我们什…

    2020/10/1 13:06:29 3次浏览
  • kafka通过脚本一次启动集群

    kafka 群起脚本kafka.sh #!/bin/bashcase $1 in "start"){for i in backup01 backup02 backup03do echo " $i " ssh $i /usr/local/hadoop/kafka/kafka_2.12-2.4.1/bin/kafka-server-start.sh -daemon /usr/local/hadoop/kafka/kafka_2.12-2.4.1/binconf…

    2020/10/1 13:06:29 3次浏览
  • Kafka面试题总结

    请说明什么是Apache Kafka? Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。请说明什么是传统的消息传递方法? 传统的消息传递方法包括两种: 排队:在队列中,一组用户可以从服务器…

    2020/10/1 13:06:28 2次浏览
  • Kafka的学习和使用

    Kafka的学习和使用 本文是基于CentOS 7.3系统环境,进行Kafka的学习和使用 CentOS 7.3 一、Kafka的简介 1.1 Kafka基本概念 (1) 什么是Kafka Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域 (2) Kafka的作用 解耦和…

    2020/10/1 13:06:28 6次浏览
  • Kafka压缩

    欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。 欢迎跳转到本文的原文链接:https://honeypps.com/mq/kafka-compression/ 在某些情况下&#xff0c…

    2020/10/1 13:06:27 2次浏览
  • 如何使用JMX监控Kafka

    欢迎支持笔者新作:《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》,同时欢迎关注笔者的微信公众号:朱小厮的博客。 欢迎跳转到本文的原文链接:https://honeypps.com/mq/how-to-monitor-kafka-with-jmx/ 使用kafka做…

    2020/10/1 13:06:27 6次浏览
  • 大数据_Kafka_kafka-topics.sh 脚本相关的 Topic常用命令

    本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等。由于alterTopic并不是很常用,本文中就不涉及了。另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的^_^ )…

    2020/10/1 13:06:26 6次浏览
  • Kafka常见面试题

    1 什么是kafka Kafka是分布式发布-订阅消息系统,它最初是由LinkedIn公司开发的,之后成为Apache项目的一部分,Kafka是一个分布式,可划分的,冗余备份的持久性的日志服务,它主要用于处理流式数据。 2 为什么要…

    2020/10/1 13:06:25 4次浏览
  • springboot整合kafka实现logback收集日志

    springboot实现logback收集日志输出到kafka 异常容错机制,如果kafka服务宕机,输出到本地文件,可用其他方式重新加载local中的数据记录; 效率比对下:也可以尝试直接用kafka客户端写入到kafka中,手动针对异常做容错(如,写入文件) 1.pom依赖2.logback.xml配置3.自定义KafkaAppende…

    2020/10/1 13:06:24 1次浏览
  • Kafka入门教程(一)

    转自:https://blog.csdn.net/yuan_xw/article/details/51210954 1 Kafka入门教程 1.1 消息队列(Message Queue) Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件,这些组件负责处理连接服务、消息的路由和传送、持久性、安…

    2020/10/1 13:06:23 4次浏览
  • apache kafka技术分享系列(目录索引)

    目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建Apache Kafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apache kafka消息服务 2)kafak安装与使用 3)apache kafka中server.p…

    2020/10/1 13:06:23 2次浏览
  • Mafka消息中间件系统SLA

    1.背景 给业务承诺的SLA无法提供准确(实际)运行数据和证明,更无法打消业务对MQ服务质量的疑虑,长远看对于MQ发展不利MQ团队无法确定当前系统SLA数据,就无法确定服务重点优化方向确定系统SLA,明确系统边界 2.目标 从系统角度查看…

    2020/10/1 13:06:22 9次浏览
  • Kafka相关技术文档

    转载自:http://blog.csdn.NET/lizhitao/article/details/39499283 目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建Apache Kafka分布式系统 3.消息队列中点对点与发布订阅区别 Kafka设计与原理分析 1)apache Kafka概要介绍 2&#xff0…

    2020/10/1 13:06:22 10次浏览
  • Kafka史上最详细原理总结 ----用于自己看的

    KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场…

    2020/10/1 13:06:21 2次浏览
  • kafka介绍和使用

    1.1. 主要功能 根据官网的介绍,ApacheKafka是一个分布式流媒体平台,它主要有3种功能:1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是k…

    2020/10/1 13:06:20 6次浏览
  • 很不错的的kafka详解

    1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的l…

    2020/10/1 13:06:20 5次浏览
  • kafka 学习 非常详细的经典教程

    https://blog.csdn.net/tangdong3415/article/details/53432166一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语…

    2020/10/1 13:06:19 4次浏览
  • Kafka面试题!掌握它才说明你真正懂Kafka(附答案)

    1、请说明什么是Apache Kafka?Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和可复制的提交日志服务。2、说说Kafka的使用场景?①异步处理②应用解耦③流量削峰④日志处理⑤消息通讯等。3、使用Kafka有什么优点和缺点&am…

    2020/9/30 9:40:37 21次浏览
  • Kafka 状态机模块(三):TopicDeletionManager 删除主题管理

    TopicDeletionManager 负责对指定 Kafka 主题执行删除操作,清除待删除主题在集群上的各类“痕迹”,包括 3 个部分。class TopicDeletionManager(config: KafkaConfig, // KafkaConfig类,保存Broker端参数 controll…

    2020/9/29 21:58:10 16次浏览
  • 如果你不会用 kafka-docker,请看这里,带你深入浅出大白话了解!

    前言本文主要讲述使用Docker如何搭建Kafka的单机版以及集群版,并对遇到的问题进行一定的解答,希望对初学者有一定的帮助。本文所使用的镜像是: wurstmeister/kafka。依赖1.由于kafka容器使用docker-compose构建,所以确保已经安装此…

    2020/9/29 14:15:25 14次浏览
  • RabbitMQ与Kafka选型对比

    背景本公司是.NET项目,在.NET可选的MQ比较少,主要Kafka和RabbitMQ,RabbitMQ我也是使用多年了,最近的Kafka广告与流行度我也是无法无视,因此也是花了点时间收集了资料做了些对比。此外有个小插曲,当我形成了…

    2020/9/29 10:17:05 3次浏览
  • 大数据之Kafka技术详解(一)

    大数据之Kafka技术详解Kafka1、Kafka简答2、Kafka基础架构3、Kafka使用教程(Topic增删改查)[ 详解二PS说明 ](1)Kafka是什么?(2)Kafka有什么用?(3)Kafka怎么使…

    2020/9/29 9:46:14 16次浏览
  • springboot 样关闭kafka的在控制台打印的日志 logback.xml

    直接在你的日志配置文件里面加上这句话<logger name="org.apache.kafka.clients.consumer.ConsumerConfig" level="off" /> 1name后面的属性可以随意变, 举例&#xff1a;你想关闭所有kafka的日志那就直接:<logger name="org.apache.kafka&a…

    2020/9/28 20:42:25 17次浏览
  • 详解kafka的心跳机制

    1.概述最近有同学咨询Kafka的消费和心跳机制&#xff0c;今天笔者将通过这篇博客来逐一介绍这些内容。2.内容2.1 Kafka消费首先&#xff0c;我们来看看消费。Kafka提供了非常简单的消费API&#xff0c;使用者只需初始化Kafka的Broker Server地址&#xff0c;然后实例化KafkaCon…

    2020/9/28 19:57:23 8次浏览
  • Spring整合Kafka消费端concurrency参数设置

    Spring整合Kafka时在消费端为我们提供了一个参数concurrency&#xff0c;这个参数可主要是用来设置消费者的线程数&#xff0c;提高消费的能力&#xff0c;当然与所有线程数设置的套路一样&#xff0c;这个值并不是越大越好。Spring中提供的这个参数其原理就和启动多个消费者一…

    2020/9/28 19:04:07 11次浏览
  • kafka系列之彻底弄清楚各版本差异

    我自己用了 kafka 也挺久的了&#xff0c;关于kafka的版本规则&#xff0c;各个大版本的升级究竟做了哪些优化等&#xff0c;并没有特别的关注。本文打算做一个比较详细的整理。1、版本命名规则1.x之后&#xff0c;kafka 全面启用三位数的命名规则。也就是说&#xff0c;以前的…

    2020/9/28 15:23:18 10次浏览
  • 关于 Kafka 的一些面试题目

    在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目&#xff0c;这些都是我平时在学习 Kafka 的一些总结要点。谈谈你对 kafka 的整体认识&#xff1f;问这个问题主要是想知道面试者对 Kafka 的整体认识如何&#xff0c;能够大致了解面试者对 Kafka 的相关概念的熟悉程…

    2020/9/28 14:41:18 30次浏览