kafka概述,架构说明,相关的名词解释

news/2023/9/27 6:56:34

消息队列两种模式:点对点与发布订阅

生产者发送一条消息到queue,只有一个消费者能收到。

 

发布者发送到topic的消息,只要订阅了该topic的订阅者都会收到消息。


kafka架构图

Kafka 是一个分布式(发布订阅的)消息队列。Kafka 对消息保存时根据 Topic 进行归类,
发送消息者称为 Producer,采用推的方式给kafka
消息接受者称为 Consumer,采用拉,推的方式从kafka拿数据
此外 kafka 集群有多个 kafka 实例组成,每个实例(server)成为 broker。
无论是 kafka 集群,还是 producer 和 consumer 都依赖于 zookeeper 集群保存一些meta 信息,来保证系统可用性

1)Producer :消息生产者,就是向 kafka broker 发消息的客户端;

2)Consumer :消息消费者,向 kafka broker 取消息的客户端;

3)Topic :主题,可以理解为一个队列,用于消息的分类,如订单类的消息放一个topic,产品类的消息放一个topic

4)Consumer Group (CG):消费者组,这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个 consumer)的手段。一个 topic 可以有多个 CG。

topic的消息会发送到所有的 CG,但每个 partion 只会把消息发给该 CG 中的一个 consumer

如果需要实现广播,只要每个 consumer 有一个独立的 CG 就可以了

要实现单播只要所有的 consumer 在同一个 CG

用 CG 还可以将 consumer 进行自由的分组而不需要多次发送消息到不同的 topic; 

在同一个消费者组中的消费者,对同一条消息,只能消费一次

5)Broker :一台 kafka 服务器就是一个 broker。
一个集群由多个 broker 组成

一个 broker可以容纳多个 topic;
 
6)Partition:分区,为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服务器)上
一个 topic 可以包括多个 partition,每个 partition 是一个有序的队列。

partition 中的每条消息都会被分配一个有序的 id(offset)。
kafka 只保证按一个 partition 中的顺序将消息发给consumer,不保证一个 topic 的整体(多个 partition间)的顺序;
(简单说,就是partition中局部有序,topic整体无序

7)Offset:就是记录某个消费者组,对某个主题下某个分区的偏移量(位置),方便下次接着消费


https://dhexx.cn/news/show-18263.html

相关文章

JAVA基础知识

JAVA基础知识一、什么是对象二、JVM性能调优1、栈2、程序计数器3、堆4、方法区(1.8后称元空间)5、本地方法栈6、STW7、总结三、Jdk和Jre和Jvm四、与equals五、final六、String、StringBuffer、StringBuilder七、重载和重写八、抽象类和接口的区别九、lis…

kafka四大核心api

使用 Producer API 发布消息到kafka集群中一个或多个topic。 (重点掌握) 使用 Consumer API 来订阅一个或多个topic,并处理产生的消息。 (重点掌握) 使用 Streams API 充当一个流处理器,从1个或多个topic消费输入流,并生产输出流到1个或多个…

java List的用法

List的用法List包括List接口以及List接口的所有实现类。因为List接口实现了Collection接口,所以List接口拥有Collection接口提供的所有常用方法,又因为List是列表类型,所以List接口还提供了一些适合于自身的常用方法,如表1所示。表…

抽象数据类型的表示与实现

各种字符的定义代码如下&#xff1a; // liyuechao // 2014.8.7 // c1.h//c1.h文件名字 #include<string.h> #include<ctype.h> #include<malloc.h> // malloc()等 #include<limits.h> // INT_MAX等 #include<stdio.h> // EOF(^Z或F6),…

kafka工作流程分析-生产过程

Kafka 生产过程分析 写入方式producer 采用推&#xff08;push&#xff09;模式将消息发布到 broker&#xff0c;每条消息都被追加&#xff08;append&#xff09;到分区&#xff08;patition&#xff09;中&#xff0c;属于顺序写磁盘&#xff08;顺序写磁盘效率比随机写内存要…

事务隔离级别和MVCC的关系

文章目录一、四种事务隔离级别二、隔离级别解决了哪些问题&#xff08;MVCC&#xff09;1、隔离级别2、MVCC3、测试命令四、小结五、MVCC总结一、四种事务隔离级别 名称效果读未提交&#xff08;READ UNCOMMITTED&#xff09;一个事务还没提交时&#xff0c;它做的变更就能被别…

kafka工作流程分析-Broker保存消息

存储方式 物理上把 topic 分成一个或多个 patition&#xff08;对应 server.properties 中的 num.partitions3 配置&#xff09;&#xff0c;每个 patition 物理上对应一个文件夹&#xff08;该文件夹存储该 patition 的所有消息和索引文件&#xff09;&#xff0c;如下&#x…

ThreadLocal简介

ThreadLocal简介一、ThreadLocal简介二、ThreadLocal简单使用三、ThreadLocal的实现原理1、set方法源码2、get方法源码3、remove方法的实现四、ThreadLocal不支持继承性五、InheritableThreadLocal类六、从ThreadLocalMap看ThreadLocal使用不当的内存泄漏问题1、基础概念2、分析…

kafka工作流程分析-消费过程分析

Kafka 消费过程分析 kafka 提供了两套 consumer API&#xff1a;高级 Consumer API 和低级 API。 3.3.1 高级 API 1&#xff09;高级 API 优点高级 API 写起来简单 不需要自行去管理 offset&#xff0c;系统通过 zookeeper 自行管理。 不需要管理分区&#xff0c;副本等情况&am…

模仿易信的UI

易信&#xff0c;它的UI还是很简洁&#xff0c;因此本人想模仿一下它&#xff0c;用了一天的时候来研究它的资源文件&#xff0c;终于被我写出来。先看下效果图吧。(一)首页的标题main_title.xml<?xml version"1.0" encoding "utf-8"?> <Relati…