提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  数据库

当前栏目

docker搭建3主3从redis集群(主从容错切换、主从扩容、主从缩容)

RedisDocker集群 搭建 切换 主从 扩容 容错
2023-06-13 09:17:15 时间

docker搭建3主3从redis集群

1、3主3从集群配置

1.1 关闭防火墙+启动docker后台服务

systemctl stop firewalld
systemctl start docker

1.2 集群规划

1.3 新建6个docker容器redis实例

docker run -d --name redis-node-1 --net host --privileged=true -v /data/redis/share/redis-node-1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381
 
docker run -d --name redis-node-2 --net host --privileged=true -v /data/redis/share/redis-node-2:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6382
 
docker run -d --name redis-node-3 --net host --privileged=true -v /data/redis/share/redis-node-3:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6383
 
docker run -d --name redis-node-4 --net host --privileged=true -v /data/redis/share/redis-node-4:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6384
 
docker run -d --name redis-node-5 --net host --privileged=true -v /data/redis/share/redis-node-5:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6385
 
docker run -d --name redis-node-6 --net host --privileged=true -v /data/redis/share/redis-node-6:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6386

参数解释如下：

docker run 创建并运行docker容器实例 –name redis-node-6 容器名字 –net host 使用宿主机的IP和端口，默认 –privileged=true 获取宿主机root用户权限 -v /data/redis/share/redis-node-6:/data 容器卷，宿主机地址:docker内部地址 redis:6.0.8 redis镜像和版本号 –cluster-enabled yes 开启redis集群 –appendonly yes 开启持久化 –port 6386 redis端口号

运行成功的效果如下：

1.4 进入容器redis-node-1并为6台机器构建集群关系

进入容器

docker exec -it redis-node-1 /bin/bash

构建主从关系

redis-cli --cluster create 192.168.159.33:6381 192.168.159.33:6382 192.168.159.33:6383 192.168.159.33:6384 192.168.159.33:6385 192.168.159.33:6386 --cluster-replicas 1

–cluster-replicas 1 表示为每个master创建一个slave节点

由上图可知，哈希槽被分为三段，0-5460,5461-10922,10923-16383 并且可以看到集群节点的主从关系， 192.168.159.33:6385—>192.168.159.33:6381 192.168.159.33:6386—>192.168.159.33:6382 192.168.159.33:6384—>192.168.159.33:6383 这里三主三从已经搭建完毕了。

注意：上面的集群关系是随机分配的，所以没有明确指定的情况下，映射关系可能有出入。

1.5 查看集群状态

连接进入6381作为切入点，查看集群状态

redis-cli -p 6381
cluster info
cluster nodes

可以很清楚的看到集群的主从关系 192.168.159.33:6385—>192.168.159.33:6381 192.168.159.33:6386—>192.168.159.33:6382 192.168.159.33:6384—>192.168.159.33:6383

2、主从容错切换迁移案例

2.1 数据读写存储

启动6个节点构成的集群并通过exec进入

docker exec -it redis-node-1 /bin/bash
redis-cli -p 6381

对6381端口的节点添加几个key测试

可以看到，我们每存储一个key，都会先计算哈希槽的落点，有的落点超过了分配的哈希槽区域，就会存储失败，其实我们现在要连接的是整个集群，而不是单个节点，上面的连接命令是错误的。

正确的连接集群的命令是：

redis-cli -p 6381 -c

新增几个key测试

可以很明显地看到，每次存储一个值，都要根据计算出的哈希槽落点去存储，落到哪个节点就会重定向到落点所在的集群节点。

查看集群信息

redis-cli --cluster check 192.168.159.33:6381

这里也可以看清除各个节点数据存储情况以及主从映射关系。

2.2 容错切换迁移

我们现在将6381节点挂掉，规划图如下：

先停止6381节点，

docker stop redis-node-1

这个时候进入6382这个节点查看下集群信息

docker exec -it redis-node-2 /bin/bash
redis-cli -p 6382 -c
 cluster nodes

可以看到，6381节点已经宕机了，此时它原来的从节点6385上位，成为了master节点。

此时如果将6381节点恢复，那么集群的状态会不会发生变化呢？

docker start redis-node-1

查看集群状态

可以看到，就算此时6381恢复了，它也只能是从节点，6385依旧是主节点。

怎样恢复原来的集群状态，即让6385重新成为6381的从节点呢？

先停止6385节点

docker stop redis-node-5

这一步的目的是给6381节点一个成为master的机会，(给它上位的机会)

查看6381是否已经成为主节点

由上图可看出，6385此时已经挂掉，6381重新上位成为master节点。

再启动6385节点

docker start redis-node-5

再查看集群信息

可以看到，6381已经成为了master,6385是6381的slave节点，至此，集群已经恢复成了初始的3主3从的架构，即

查看集群状态

redis-cli --cluster check 192.168.159.33:6381

3、主从扩容案例(3主3从到4主4从)

3.1 扩容规划

将3主3从的集群扩容为4主4从的集群。

3.2 新建6387、6388两个节点

docker run -d --name redis-node-7 --net host --privileged=true -v /data/redis/share/redis-node-7:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6387
docker run -d --name redis-node-8 --net host --privileged=true -v /data/redis/share/redis-node-8:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6388
docker ps

此时有8个节点。

3.3 进入容器实例内部

docker exec -it redis-node-7 /bin/bash

3.4 将新增的6387节点(空槽号)作为master节点加入原集群

redis-cli --cluster add-node 192.168.159.33:6387 192.168.159.33:6381

参数说明： redis-cli --cluster add-node 自己实际IP地址:6387 自己实际IP地址:6381 6387 就是将要作为master新增节点 6381 就是原来集群节点里面的领路人，相当于6387拜拜6381的码头从而找到组织加入集群

3.5 检查集群情况第1次

redis-cli --cluster check 192.168.159.33:6381

可以看到，此时虽然6387节点已经加入了集群，但并没有分配哈希槽号。

3.6 重新分槽号

redis-cli --cluster reshard 192.168.159.33:6381

参数说明： 命令:redis-cli --cluster reshard IP地址:端口号

我们为了平均分配哈希槽，所以为6387节点分配16384/master台数=16384/4=4096 receiving node ID:就是6387这台节点的容器ID

3.7 检查集群情况第2次

命令:redis-cli --cluster reshard IP地址:端口号
redis-cli --cluster check 192.168.159.33:6381

可以看到，槽号已经重新分配 6381:[1365-5460] 6382:[6827-10922] 6383:[12288-16383] 6387:[0-1364],[5461-6826],[10923-12287]

为什么6387是3个新的区间，以前的还是连续？ 重新分配成本太高，所以前3家各自匀出来一部分，从6381/6382/6383三个旧节点分别匀出1364个坑位给新节点6387

3.8 为主节点6387分配从节点6388

redis-cli --cluster add-node 192.168.159.33:6388 192.168.159.33:6387 --cluster-slave --cluster-master-id fe96386f9f5401836d67af25bf8549d2c9e20840

命令：redis-cli --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID 最后的新主机节点ID就是6387的容器ID

3.9 检查集群情况第3次

redis-cli --cluster check 192.168.159.33:6382

这里从任意一台节点执行都可以，不是非要6382端口的机器

可以看出，6388已经加入了集群，并且成为了6387节点的从节点，至此，3主3从的redis集群成功扩容为4主4从。

4、主从缩容案例

4.1 目的

目的：让6387和6388两台节点下线。

4.2 检查集群情况1，获得6388节点的ID

redis-cli --cluster check 192.168.159.33:6382

暂时还是4主4从的集群

4.3 将6388删除：从集群中将4号从节点6388删除

redis-cli --cluster del-node 192.168.159.33:6388 08620d4a6390ea8ff8ecdc135c556dde5abc15a1

命令：redis-cli --cluster del-node ip:从机端口 从机6388节点ID

检查下发现，只剩下7台机器了

redis-cli --cluster check 192.168.159.33:6382

此时集群中只剩下7台机器了。

4.4 将6387的槽号清空，重新分配

将6387的槽号清空，重新分配，本例将清出来的槽号都给6381

redis-cli --cluster reshard 192.168.159.33:6381

4.5 检查集群情况第二次

redis-cli --cluster check 192.168.159.33:6381

可以看到，此时虽然6387的哈希槽已经被6381接手，但是6387节点还在集群当中没有删除。

4.6 将6387节点从集群中删除

命令：redis-cli --cluster del-node ip:端口 6387节点ID 

redis-cli --cluster del-node 192.168.159.33:6387 fe96386f9f5401836d67af25bf8549d2c9e20840

4.7 检查集群情况第三次

redis-cli --cluster check 192.168.159.33:6381

可以看到，此时集群中只剩下3台master节点,3台slave节点，成功从4主4从缩容到3主3从

相关文章