zookeeper介绍
zookeeper 介绍
2023-09-14 08:57:35 时间
一、概念
Zookeeper是一个高性能，分布式的，开源分布式应用协调服务。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务 ，比如同步，配置管理，集群管理，名空间。它被设计为易于编程，使用文件系统目录树作为数据模型。服务端跑在java上，提供java和C的客户端API。
什么是分布式系统：
多台计算机构成，计算机之间通过网络通信，彼此进行交互，并实现共同目标。
分布式系统存在什么问题：
计算机间会很混乱，不可控，这时候就需要一个协调者，zookeeper就可以充当这个协调者。
二、zookeeper功能结构介绍
协调: 多个节点一起完成的一个动作
作用：
1.集群成员管理 Group membership
2.锁 Locking
3.选主 Leader Election
4.同步 Synchronization
5.发布/ 订阅 Publisher/Subscriber
zookeeper数据模型
分层结构
树形结构中的每个节点叫做Znode
每个Znode都有数据 byte[]类型 ，也可以有子节点
节点路径
-斜线分隔 /Zoo/Duck
-没有相对路径
通过数据结构stat来存储数据的变化 ACL的变化和时间戳
数据发生变化时，版本号会递增
可以对Znode中的数据进行读写操作
三、应用场景
1.数据发布/订阅
数据发布/订阅即所谓的配置中心：发布者将数据发布到zk的一个或者一系列节点上，订阅者进行数据订阅，当数据有变化时，可以及时得到数据的变化通知
2.负载均衡
本质是利用zookeeper的配置管理功能，涉及的步骤为：
1）服务提供者把自己的域名及IP端口的映射注册到zk中
2）服务消费者通过域名从zk中获取到对应的IP及端口，这个IP及端口有多个，只是获取其中一个
3）当服务提供者宕机时，对应的域名与IP的对应就会减少一个映射
4）阿里的dubbo服务框架就是基于zk来实现服务路由和负载
3.命名服务
在分布式系统中，命名服务（Name Service）也是很重要的应用场景，通过zk也可以实现类似于J2EE中的JNDI的效果；分布式环境 ，命名服务更多是资源定位，并不是真正的实体资源，其本质也是用到zk的集中配置管理和查找
4.分布式协调/通知
通过watcher和通知机制实
-分布式锁
-分布式事物
5.集群管理
-当前集群中的机器数量
-集群中机器的运行时状态
-集群中节点的上下线操作
-集群节点的统一配置
6.Master选举
-临时节点
-顺序节点
7.分布式锁
-排他锁
-共享锁
8.分布式队列
FIFO
四、zookeeper基本概念
1.集群角色
-Leader：为客户端提供读和写服务
-Follower：提供读服务，所有写服务都需要转交给Leader角色，参与选举
-Observer：提供读服务，不参与选举过程，一般是为了增强zk集群的读请求并发能力
2. 会话 session
-Zk的客户端与zk的服务端之间的连接
-通过心跳检测保持客户端连接的存活
-接收来自服务端的watch事件通知
-可以设置超时时间
3.数据节点（Znode）
不是机器的意思而是Zk树形结构中的数据节点，用于存储数据
-持久节点：一旦创建，除非主动调用删除操作，否则一直存储在zk上
-临时节点：与客户端的会话绑定，一旦客户端会话失效，这个客户端创建的所有临时节点都会被移除
-SEQUENTIAL Znode：创建节点时，如果设置属性SEQUENTIAL，则会自动在节点名后面追加一个整型数字
4.版本
-Version：当前Znode的版本
-Cversion：当前Znode的子节点的版本
-Aversion：当前Znode的ACL（访问控制）版本
5.Watcher
作用于Znode节点
多种事件通知：数据更新，子节点状态等
6. ACL
Access Control Lists 类似于linux/unix的权限控制 CREATE和DELETE是针对子节点的权限控制
-CREATE：创建子节点的权限
-READ:获取节点数据和子节点列表的权限
-WRITE：更新节点数据的权限
-DELETE：删除子节点的权限
-ADMIN：设置节点ACL的权限
五、zookeeper单机模式—安装部署
注意：单机模式不能用在生产环境上，因为无论从系统可靠性还是读写性能上都不能满足生产的需求
Zk是基于java语言开发，因此单机模式的资源需求跟普通的java程序差不多，1个he的CPU和1G内存就足够
1.环境准备
-Jdk1.6及以上
-机器配置： 2核/2G
2.安装
-zk下载地址： http://www.apache.org/dyn/closer.cgi/zookeeper/
-解压文件
Windows下采用winzip或者winwar都行
Linux下采用tar –zxvf zookeeper-3.4.6.tar.gz
-配置环境变量
ZOOKEEPER_HOME=/home/zookeeper-3.4.6
PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
3.zookeeper目录介绍
bin
-.sh linux环境
-.cmd windows环境
conf
-zoo_sample.cfg为样例配置文件，需要修改为自己的名称，一般为zoo.cfg
-Log4j.properties为日志配置文件
Contrib:一些用于操作zk的工具包
lib：zk依赖的某些包
Recipes：zk某些用法的代码示例
Dist-maven：maven编译后的发布目录
4.运行前配置
把conf下的zoo_sample.cfg修改为zoo.cfg
Zoo.cfg
-tickTime:默认3000ms，作为一种基本单元，可用它的倍数来表示系统内部的时间间隔配置，比如：
2*tickTime是客户端会话的超时时间
1*tickTime是客户端与zk服务器端的心跳时间
-dataDir:无默认配置，必需配置；用于配置存储快照文件的目录，如果没有配置dataLogDir，那么事物日志也会存储在此目录
-clientPort：zk的运行端口，默认是2181
5.启动
-Windows:直接双击zkServer.cmd
-Linux:sh zkServer.sh start
六、客户端命令行
-Linux：bin/zkCli.sh
-Windows：bin/zkCli.cmd
不带任何参数默认连接到localhost：2181
zkCli.cmd –server ip:port连接到指定的服务器地址
命令行输入help或其他人任何字符查看所有命令列表及语法
1.读取
ls path [watch]
-Path表示指定数据节点的节点路径
-列出指定节点下的所有子节点
-只能查看第一级的所有子节点
-刚安装时 ls / 下只有默认的zookeeper保留节点
-Watch表示监听path的子节点的变化
2.创建
create [-s] [-e] path data acl
-创建zookeeper节点
- -s或者-e表示创建的是顺序或临时节点，不加默认创建的是持久节点
-Path为节点的全路径，没有相对节点的表示方式
-Data为当前节点内存储的数据
-Acl用来进行权限控制，缺省情况下不做任何权限控制
3.读取
get path [watch]
-获取指定节点的数据内容和属性信息
-Path表示指定数据节点的节点路径
4.更新
set path data [version]
-更新指定节点的数据内容
-Path表示被更新的节点路径
-data为更新的数据
-Version为指定被更新的数据版本，一般不指定，如果数据版本已经更新，则指定旧版本时会报错
5.删除
delete path [version]
-删除指定节点
-Path表示被删除的节点
-Version为指定被删除的数据版本，一般不指定，如果数据版本已经更新，则指定旧版本时会报错
相关文章
- ZooKeeper FAQ
- zookeeper分布式锁避免羊群效应（Herd Effect）
- Zookeeper单机与集群搭建配置
- 搞了个基于zookeeper的Leader/Follower切换Demo
- ZooKeeper分布式锁的实现原理（转）
- ZooKeeper源码研究系列（3）单机版服务器介绍
- 微服务系列之ZooKeeper注册中心和Nacos注册中心&Nacos和Zookeeper对比
- SpringCloud----zookeeper介绍与安装
- Atitit Kafka 使用总结 内容 Kafka2.0 50M1 启动 要启动zookeeper 先，比ativemp麻烦很多啊1 Kafka生产者 1 Kafka消费者2 2
- 基于maven+dubbo+spring+zookeeper的简单项目搭建
- ZooKeeper管理员指南——部署与管理ZooKeeper
- Zookeeper笔记（三）部署与启动Zookeeper
- zookeeper+kafka集群安装之中的一个
- ZooKeeper的架构
- 故障排除Exception in thread “main“ joptsimple.UnrecognizedOptionException: zookeeper is not a recognized
- Zookeeper，集群管理之独孤求败
- zookeeper应用程序
- Zookeeper leader选举