Zookeeper 是⼀个分布式协调服务的开源框架。 主要⽤来解决分布式集群中应⽤系统的⼀致性问题, 例如怎样避免同时操作同⼀数据造成脏读的问题。分布式系统中数据存在⼀致性的问题!!

  • ZooKeeper 本质上是⼀个分布式的⼩⽂件存储系统。 提供基于类似于⽂件系统的⽬录树⽅式的数 据存储,并且可以对树中的节点进⾏有效管理。
  • ZooKeeper 提供给客户端监控存储在zk内部数据的功能,从⽽可以达到基于数据的集群管理。 诸 如: 统⼀命名服务(dubbo)、分布式配置管理(solr的配置集中管理)、分布式消息队列 (sub/pub)、分布式锁、分布式协调等功能。

 

 Leader

  • Zookeeper 集群⼯作的核⼼⻆⾊
  • 集群内部各个服务器的调度者。
  • 事务请求(写操作) 的唯⼀调度和处理者,保证集群事务处理的顺序性;对于 create, setData, delete 等有写操作的请求,则需要统⼀转发给leader 处理, leader 需要决定编号、执 ⾏操作,这个过程称为⼀个事务。

Follower

  • 处理客户端⾮事务(读操作) 请求,
  • 转发事务请求给 Leader;
  • 参与集群 Leader 选举投票 2n-1台可以做集群投票。

此外,针对访问量⽐较⼤的 zookeeper 集群, 还可新增观察者⻆⾊。

Observer

  • 观察者⻆⾊,观察 Zookeeper 集群的最新状态变化并将这些状态同步过来,其对于⾮事务请求可 以进⾏独⽴处理,对于事务请求,则会转发给 Leader服务器进⾏处理。
  • 不会参与任何形式的投票只提供⾮事务服务,通常⽤于在不影响集群事务处理能⼒的前提下提升集 群的⾮事务处理能⼒。增加了集群增加并发的读请求

ZK也是Master/slave架构,但是与之前不同的是zk集群中的Leader不是指定⽽来,⽽是通过选举产⽣。

  • 1.Zookeeper:⼀个领导者(leader:⽼⼤),多个跟随者(follower:⼩弟)组成的集群。
  • 2. Leader负责进⾏投票的发起和决议,更新系统状态(内部原理)
  • 3. Follower⽤于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票
  • 4. 集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。
  • 5. 全局数据⼀致:每个server保存⼀份相同的数据副本,Client⽆论连接到哪个server,数据都是⼀ 致的。
  • 6. 更新请求顺序进⾏(内部原理)
  • 7. 数据更新原⼦性,⼀次数据更新要么成功,要么失败

Zookeeper 节点类型可以分为三⼤类:

  • 持久性节点(Persistent)
  • 临时性节点(Ephemeral)
  • 顺序性节点(Sequential)

在开发中在创建节点的时候通过组合可以⽣成以下四种节点类型:持久节点、持久顺序节点、临时节 点、临时顺序节点。不同类型的节点则会有不同的⽣命周期

持久节点:是Zookeeper中最常⻅的⼀种节点类型,所谓持久节点,就是指节点被创建后会⼀直存在服 务器,直到删除操作主动清除

持久顺序节点:就是有顺序的持久节点,节点特性和持久节点是⼀样的,只是额外特性表现在顺序上。 顺序特性实质是在创建节点的时候,会在节点名后⾯加上⼀个数字后缀,来表示其顺序。

临时节点:就是会被⾃动清理掉的节点,它的⽣命周期和客户端会话绑在⼀起,客户端会话结束,节点 会被删除掉。与持久性节点不同的是,临时节点不能创建⼦节点。

临时顺序节点:就是有顺序的临时节点,和持久顺序节点相同,在其创建的时候会在名字后⾯加上数字 后缀

  在ZooKeeper中,事务是指能够改变ZooKeeper服务器状态的操作,我们也称之为事务操作或更新 操作,⼀般包括数据节点创建与删除、数据节点内容更新等操作。对于每⼀个事务请求,ZooKeeper都 会为其分配⼀个全局唯⼀的事务ID,⽤ ZXID 来表示,通常是⼀个 64 位的数字。每⼀个 ZXID 对应⼀次 更新操作,从这些ZXID中可以间接地识别出ZooKeeper处理这些更新操作请求的全局顺序 zk中的事务指的是对zk服务器状态改变的操作(create,update data,更新字节点);zk对这些事务操作都 会编号,这个编号是⾃增⻓的被称为ZXID。

  1. #使⽤bin/zkCli.sh 连接到zk集群
  2. [zk: localhost:2181(CONNECTED) 2] get /zookeeper
  3. cZxid = 0x0
  4. ctime = Wed Dec 31 19:00:00 EST 1969
  5. mZxid = 0x0
  6. mtime = Wed Dec 31 19:00:00 EST 1969
  7. pZxid = 0x0
  8. cversion = -1
  9. dataVersion = 0
  10. aclVersion = 0
  11. ephemeralOwner = 0x0
  12. dataLength = 0
  13. numChildren = 1

含义:

  1. cZxid 就是 Create ZXID,表示节点被创建时的事务ID
  2. ctime 就是 Create Time,表示节点创建时间。
  3. mZxid 就是 Modified ZXID,表示节点最后⼀次被修改时的事务ID
  4. mtime 就是 Modified Time,表示节点最后⼀次被修改的时间。
  5. pZxid 表示该节点的⼦节点列表最后⼀次被修改时的事务 ID。只有⼦节点列表变更才会更新 pZxid
  6. ⼦节点内容变更不会更新。
  7. cversion 表示⼦节点的版本号。
  8. dataVersion 表示内容版本号。
  9. aclVersion 标识acl版本
  10. ephemeralOwner 表示创建该临时节点时的会话 sessionID,如果是持久性节点那么值为 0
  11. dataLength 表示数据⻓度。
  12. numChildren 表示直系⼦节点数。

  在 ZooKeeper 中,引⼊了 Watcher 机制来实现这种分布式的通知功能。ZooKeeper 允许客户端向服务 端注册⼀个 Watcher 监听,当服务端的⼀些指定事件触发了这个 Watcher,那么Zk就会向指定客户端 发送⼀个事件通知来实现分布式的通知功能。

 Zookeeper的Watcher机制主要包括客户端线程、客户端WatcherManager、Zookeeper服务器三部 分。

具体⼯作流程为:

  • 客户端在向Zookeeper服务器注册的同时,会将Watcher对象存储在客户端的WatcherManager当 中
  • 当Zookeeper服务器触发Watcher事件后,会向客户端发送通知
  • 客户端线程从WatcherManager中取出对应的Watcher对象来执⾏回调逻辑

注: 客户端负责watch的注册 和回调,zk服务器负责处理watch。

  1.   创建顺序节点:create -s /zk-test 123
  2.   创建临时节点:create -e /zk-temp 123
  3.   创建永久节点:create /zk-permanent 123
  4.   读取节点:ls path 其中,path表示的是指定数据节点的节点路径
  5.   获取内容:get path
  6.   更新节点:set path data
  7.   删除节点: delete path
  1. <dependency>
  2. <groupId>org.apache.zookeeper</groupId>
  3. <artifactId>zookeeper</artifactId>
  4. <version>3.4.14</version>
  5. </dependency>
  6. <dependency>
  7. <groupId>com.101tec</groupId>
  8. <artifactId>zkclient</artifactId>
  9. <version>0.2</version>
  10. </dependency>

创建会话:

  1. package com.hust.grid.leesf.zkclient.examples;
  2. import java.io.IOException;
  3. import org.I0Itec.zkclient.ZkClient;
  4. public class CreateSession {
  5. /*
  6. 创建⼀个zkClient实例来进⾏连接
  7. */
  8. public static void main(String[] args) {
  9.   ZkClient zkClient = new ZkClient("127.0.0.1:2181");
  10.    System.out.println("ZooKeeper session created.");
  11. }
  12. }

创建节点:

  1. package com.hust.grid.leesf.zkclient.examples;
  2. import org.I0Itec.zkclient.ZkClient;
  3. public class Create_Node_Sample {
  4. public static void main(String[] args) {
  5. ZkClient zkClient = new ZkClient("127.0.0.1:2181");
  6. System.out.println("ZooKeeper session established.");
  7. //createParents的值设置为true,可以递归创建节点
  8. zkClient.createPersistent("/lg-zkClient/lg-c1",true);
  9. System.out.println("success create znode.");
  10. }
  11. }

删除节点:

  1. package com.hust.grid.leesf.zkclient.examples;
  2. import org.I0Itec.zkclient.ZkClient;
  3. public class Del_Data_Sample {
  4. public static void main(String[] args) throws Exception {
  5. String path = "/lg-zkClient/lg-c1";
  6. ZkClient zkClient = new ZkClient("127.0.0.1:2181", 5000);
  7. zkClient.deleteRecursive(path);
  8. System.out.println("success delete znode.");
  9. }
  10. }

监听节点变化:

  1. import org.I0Itec.zkclient.IZkChildListener;
  2. import org.I0Itec.zkclient.ZkClient;
  3. import org.apache.zookeeper.client.ZooKeeperSaslClient;
  4. import java.util.List;
  5. /*
  6. 演示zkClient如何使⽤监听器
  7. */
  8. public class Get_Child_Change {
  9. public static void main(String[] args) throws InterruptedException {
  10. //获取到zkClient
  11. final ZkClient zkClient = new ZkClient("linux121:2181");
  12. //zkClient对指定⽬录进⾏监听(不存在⽬录:/lg-client),指定收到通知之后的逻辑
  13. //对/lag-client注册了监听器,监听器是⼀直监听
  14. zkClient.subscribeChildChanges("/lg-client", new IZkChildListener() {
  15. //该⽅法是接收到通知之后的执⾏逻辑定义
  16. public void handleChildChange(String path, List<String> childs)
  17. throws Exception {
  18. //打印节点信息
  19. System.out.println(path + " childs changes ,current childs " +
  20. childs);
  21. }
  22. });
  23. //使⽤zkClient创建节点,删除节点,验证监听器是否运⾏
  24. zkClient.createPersistent("/lg-client");
  25. Thread.sleep(1000); //只是为了⽅便观察结果数据
  26. zkClient.createPersistent("/lg-client/c1");
  27. Thread.sleep(1000);
  28. zkClient.delete("/lg-client/c1");
  29. Thread.sleep(1000);
  30. zkClient.delete("/lg-client");
  31. Thread.sleep(Integer.MAX_VALUE);
  32. /*
  33. 1 监听器可以对不存在的⽬录进⾏监听
  34. 2 监听⽬录下⼦节点发⽣改变,可以接收到通知,携带数据有⼦节点列表
  35. 3 监听⽬录创建和删除本身也会被监听到
  36. */
  37. }
  38. }

执行结果:

  1. /lg-zkClient 's child changed, currentChilds:[]
  2. /lg-zkClient 's child changed, currentChilds:[c1]
  3. /lg-zkClient 's child changed, currentChilds:[]
  4. /lg-zkClient 's child changed, currentChilds:null

注:

  • 客户端可以对⼀个不存在的节点进⾏⼦节点变更的监听。
  • ⼀旦客户端对⼀个节点注册了⼦节点列表变更监听之后,那么当该节点的⼦节点列表发⽣变更时,服务 端都会通知客户端,并将最新的⼦节点列表发送给客户端  
  • 该节点本身的创建或删除也会通知到客户端。

监听节点数据变化:

  1. import org.I0Itec.zkclient.IZkDataListener;
  2. import org.I0Itec.zkclient.ZkClient;
  3. //使⽤监听器监听节点数据的变化
  4. public class Get_Data_Change {
  5. public static void main(String[] args) throws InterruptedException {
  6. // 获取zkClient对象
  7. final ZkClient zkClient = new ZkClient("linux121:2181");
  8. //设置⾃定义的序列化类型,否则会报错!!
  9. zkClient.setZkSerializer(new ZkStrSerializer());
  10. //判断节点是否存在,不存在创建节点并赋值
  11. final boolean exists = zkClient.exists("/lg-client1");
  12. if (!exists) {
  13. zkClient.createEphemeral("/lg-client1", "123");
  14. }
  15. //注册监听器,节点数据改变的类型,接收通知后的处理逻辑定义
  16. zkClient.subscribeDataChanges("/lg-client1", new IZkDataListener() {
  17. public void handleDataChange(String path, Object data) throws
  18. Exception {
  19. //定义接收通知之后的处理逻辑
  20. System.out.println(path + " data is changed ,new data " +
  21. data);
  22. }
  23. //数据删除--》节点删除
  24. public void handleDataDeleted(String path) throws Exception {
  25. System.out.println(path + " is deleted!!");
  26. }
  27. });
  28. //更新节点的数据,删除节点,验证监听器是否正常运⾏
  29. final Object o = zkClient.readData("/lg-client1");
  30. System.out.println(o);
  31. zkClient.writeData("/lg-client1", "new data");
  32. Thread.sleep(1000);
  33. //删除节点
  34. zkClient.delete("/lg-client1");
  35. Thread.sleep(Integer.MAX_VALUE);
  36. }
  37. }

zk 自定义字符串序列化:

  1. import org.I0Itec.zkclient.exception.ZkMarshallingError;
  2. import org.I0Itec.zkclient.serialize.ZkSerializer;
  3. public class ZkStrSerializer implements ZkSerializer {
  4. //序列化,数据--》byte[]
  5. public byte[] serialize(Object o) throws ZkMarshallingError {
  6.   return String.valueOf(o).getBytes();
  7. }
  8. //反序列化,byte[]--->数据
  9. public Object deserialize(byte[] bytes) throws ZkMarshallingError {
  10. return new String(bytes);
  11. }
  12. }

 

  • 半数机制:集群中半数以上机器存活,集群可⽤。所以Zookeeper适合安装奇数台服务器。
  • Zookeeper虽然在配置⽂件中并没有指定Master和Slave。但是,Zookeeper⼯作时,是有⼀个节 点为Leader,其它为Follower,Leader是通过内部的选举机制产⽣的。
  • 只有当机器减少或集群初次启动才会选举leader。

 

 

 详细步骤:

  • (1)服务器1启动,此时只有它⼀台服务器启动了,它发出去的报⽂没有任何响应,所以它的选举状态 ⼀直是LOOKING状态。
  • (2)服务器2启动,它与最开始启动的服务器1进⾏通信,互相交换⾃⼰的选举结果,由于两者都没有 历史数据,所以id值较⼤的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个 例⼦中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。 return String.valueOf(o).getBytes(); } //反序列化,byte[]—>数据 public Object deserialize(byte[] bytes) throws ZkMarshallingError { return new String(bytes); } } 123 /lg-client1 data is changed ,new data new data /lg-client1 is deleted!!
  • (3)服务器3启动,根据前⾯的理论分析,服务器3成为服务器1、2、3中的⽼⼤,⽽与上⾯不同的 是,此时有三台服务器选举了它,所以它成为了这次选举的Leader。
  • (4)服务器4启动,根据前⾯的分析,理论上服务器4应该是服务器1、2、3、4中最⼤的,但是由于前 ⾯已经有半数以上的服务器选举了服务器3,所以它只能接收当⼩弟的命了。
  • (5)服务器5启动,同4⼀样称为follower

集群首次启动:

  半数前选myid 最大的机器。

非首次启动:

  优先选择zxid值⼤的节点称为Leader!!

  ZAB 协议是为分布式协调服务 Zookeeper 专⻔设计的⼀种⽀持崩溃恢复和原⼦⼴播协议

  

 

 

 

 具体流程:

 

 

 

 

 

 

 

总结: 第一步发送提议,如果提议获得半数以上机器的ack,然后发送commit给follower,同时自己commit。

Leader宕机后,被选举的新Leader需要解决的问题:

  • ZAB 协议确保那些已经在 Leader 提交的事务最终会被所有服务器提交。
  • ZAB 协议确保丢弃那些只在 Leader 提出/复制,但没有提交的事务。

选举算法的关键点:保证选举出的新Leader拥有集群中所有节点最⼤编号(ZXID)的事务!!

总结:leader崩溃,新的leader必须拥有最大的事务id,这样才能保证数据最新。

 

 

版权声明:本文为wanghzh原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/wanghzh/p/15218178.html