zookeeper适用场景:如何竞选Master及代码实现详解大数据
2023-06-13 09:20:27 时间
问题导读:
1.如何利用zookeeper保证集群Master可用性和唯一性?
2.zookeeper竞选Master包含哪些过程?
3.zookeeper竞选Master机制利用了zk哪些特性?
在zookeeper应用场景中提出了对于Master节点管理的问题,如何保证集群中Master可用性和唯一性,下面就利用zookeeper来实现。
在确保zookeeper集群节点安装配置的前提下,假设zk已经对外提供了正常的服务,通过下面的步骤来实现Master竞选
上面的机制主要利用了zk的几个特性
对于N个客户端同时请求create一个znode,zk能保证顺序的一致性,并且保证每个客户端创建的znode节点是递增并且唯一。 因为创建的znode是临时的,一旦session断开,那么znode就会从zk上消失,从而给每个设置Watcher的客户端发送通知,让每个客户端重新竞选Master,编号小的肯定是Master,保证了唯一性。下图是上面的逻辑图
ignore_js_op
下面是实现的代码,默认是连接本地的zk服务,端口是2181,zkclient模块位于zookeeper python接口只需要运行多个下面的脚本就会能实现Master的竞选。
先后在三个终端上面运行下面的脚本,模拟为c1,c2,c3三个client,创建的节点依次是/Roles/workers/worker0000000000,/Roles/workers/worker0000000001,依次是/Roles/workers/worker0000000002 发现c1成功竞选了Master,然后c2和c3都是slave 把c1关了从而导致依次是/Roles/workers/worker0000000000消失,一段时间后c2和c3会重新竞选,c2会成为master,c3是slave 重新启动c1,发现c1立马加入集群,消息里面变更表示创建了新的znode依次是/Roles/workers/worker0000000003,重新竞选,c2还是masterPS:上面步骤3里面一个客户端关闭后经历了一段时间znode才会删除,原因是这段时间内zk的session还没有被清除,因为关闭是通过ctrl+c关闭的。但是加了一个客户端,znode里面创建,就会通知其余注册了watcher的客户端
""" self.path = self.zk.create(self.WORKERS_PATH + "/worker", "1", flags=zookeeper.EPHEMERAL | zookeeper.SEQUENCE) self.path = basename(self.path) self.say("register ok! Im %s" % self.path) # check who is the master self.get_master() def get_master(self): """ get children, and check who is the smallest child """ @watchmethod def watcher(event): self.say("child changed, try to get master again.") self.get_master() try : children = self.zk.get_children(self.WORKERS_PATH, watcher) except zookeeper.ConnectionLossException: print "losing connection with zookeeper..." return False except : return False children.sort() self.say("%ss children: %s" % (self.WORKERS_PATH, children)) # check if Im master self.masters = children[:self.MASTERS_NUM] if self.path in self.masters: self.is_master = True self.say("Ive become master!") else: self.say("%s is masters, Im slave" % self.masters)
相关文章
- zookeeper入门教程_dubbo和Zookeeper详解
- hadoop+spark+zookeeper+hive的大数据分布式集群搭建
- ZooKeeper数据存储与数据同步机制
- Zookeeper的事务日志和数据
- Zookeeper的集群选举机制
- Zookeeper客户端kazoo的watch流程详解
- zookeeper的基本操作_奇门遁甲实战入门之五
- 2022-12-25:etcd可以完全替代zookeeper,原因是k8s用的etcd,不用担心不成熟。请问etcd部署在k3s中,yaml如何写?
- 微系列:4、在Centos中,搭建Zookeeper集群
- Flink HA ZooKeeper
- 分布式系统中zookeeper实现配置管理+集群管理详解架构师
- ZooKeeper学习第一期—Zookeeper简单介绍详解架构师
- Zookeeper集群搭建(伪集群)详解大数据
- ZooKeeper学习之路 (十)Hadoop的HA集群的机架感知详解大数据
- ZooKeeper学习之路 (五)ZooKeeper API的简单使用 增删改查详解大数据
- Zookeeper学习之路 (三)shell操作详解大数据
- Zookeeper学习之路 (二)集群搭建详解大数据
- ZOOKEEPER详解大数据
- java连接zookeeper服务器出现“KeeperErrorCode = ConnectionLoss for …”详解大数据
- zookeeper-02 部署详解大数据
- zookeeper-3.4.8配置kerberos详解大数据
- zookeeper适用场景:zookeeper解决了哪些问题详解大数据
- ZooKeeper系列2:ZooKeeper的运行详解大数据
- ZooKeeper系列1:ZooKeeper的配置详解大数据
- Zookeeper——Zookeeper简单使用详解编程语言
- Hadoop集群搭建(一) Zookeeper
- Redis集群是否需要ZooKeeper(redis集群需要zk吗)