初识Kafka
本文将从以下五个方面初识Kafka
一. Kafka组件介绍
二. 消费者消费的条件
三. Kafka与ActiveMQ的区别
四. Kafka如何保证数据不丢失
五. Kafka的深入学习
一. Kafka组件介绍
1.producer 生产者 会把数据源写入kafka集群中
2.broker kafak服务器, 一个broker就是kafka集群的节点,可以存放数据
3.topic 消息的主题, 是一类消息的集合
4.partition 分区概念 一个topic有多个分区,提高并行处理的效率
5.replication 副本 一个分区可以设置多个副本,副本保证数据的安全性
6.segment 每一个分区数据都有很多个segment
一个segment都有2个文件: ①.log文件(是topic数据存储的文件) ②.index文件(是.log文件索引文件,快速定位某一分区上次消息消费到哪里了,然后往后继续消费)
7.zookeeper 通过zk保存kafka集群元数据信息, 这些元数据信息包括: kafka集群地址,有哪些topic,以及每一个topic的分区数等信息.
8.consumer 消费者 消费者去kafka集群中拉取数据然后进行消费
9.offset 消息的偏移量 保存消息消费到哪里了,把消息消费的数据记录.当前这个记录信息叫做offset偏移量
消息偏移量保存有2种方式: ① 由kafka自己去保存 ② 由zookeeper去保存
二. 消费者消费的条件
1. 消费的topic
2. Zookeeper集群
3. 消息offset的偏移量, kafka集群可以自己记录,不用手动处理
三. Kafka与ActiveMQ的区别
四. Kafka如何保证数据不丢失
Kafka从以下三个方面来保证数据的不丢失
1. Producer
① ack机制-同步模式: 每次发送一条数据,每条数据都需要确认,效率比较低,但是数据安全
producer.type=sync （同步模式）
request.required.acks=1
② ack机制-异步模式: 通过buffer来进行控制数据的发送，有两个值来进行控制，时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，若设置的是立即清理模式，风险很大，一定要设置为阻塞模式。
2.Broker
一个topic有很多个分区,每一个分区有很多个副本,可以通过副本保证数据的安全性
3.Consumer
针对每一个消费者在消费数据的时候,都会把当前消费的偏移量保存在kafka集群或者zookeeper,当前消费者挂了,再次重启,重启之后可以读取上一次消费的偏移量,然后继续消费
五. 关于Kafka的深入学习
关于Kafka深入学习, 如Kafka领导选举, offset管理, Stream接口, 高性能之道, 监控运维, 性能测试等,
请关注个人微信公众号: 求学之旅, 发送Kafka, 即可收获Kafka大礼包一枚。