Redis migrate数据迁移工具的使用教程
2023-06-13 09:19:50 时间
前言
在工作中可能会遇到单点Redis向Redis集群迁移数据的问题,但又不能老麻烦运维来做。为了方便研发自己迁移数据,我这里写了一个简单的Redis迁移工具,希望对有需要的人有用。
本工具支持:
单点Redis到单点Redis迁移 单点Redis到Redis集群迁移 Redis集群到Redis集群迁移 Redis集群到单点Redis迁移该工具已经编译成了多平台命令,直接从Github下载二进制文件执行就好了。
项目地址: https://github.com/icowan/redis-tool
把代码拉下来之后直接执行命令 make 就可以编译多个平台可执行文件,需要依赖golang编译器。
Windows amd64: redis-tool-windows-amd64.exe MacOS amd64: redis-tool-darwin-amd64 Linux amd64: redis-tool-linux-amd64 Linux arm64: redis-tool-linux-arm64查看使用方法:
$ chmod a+x redis-tool-linux-amd64 $ ./redis-tool-linux-amd64 -h
支持的数据类型
string 字符串 hash 散列列表 list 列表 sorted-set 有序集合如何使用
下载好命令并授权之后执行 ./redis-tool-linux-amd64 -h 可以查看该工具所支持的所有功能:
$ ./redis-tool-darwin-amd64 migrate -h 数据迁移命令 Usage: redis-tool migrate [command] Examples: 支持命令: [hash, set, sorted-set, list]
--source-database int 源database --source-hosts string 源redis地址, 多个ip用","隔开 (default "127.0.0.1:6379") --source-prefix string 源redis前缀 --source-redis-cluster 源redis是否是集群 --target-auth string 目标密码 --target-database int 目标database --target-hosts string 目标redis地址, 多个ip用","隔开 (default "127.0.0.1:6379") --target-prefix string 目标redis前缀 --target-redis-cluster 目标redis是否是集群 Use "redis-tool migrate [command] --help" for more information about a command.
参数说明:
source-auth: 源redis密码,如果有的话就填 source-database: 源database,默认是 0 source-hosts: 源redis地址, 集群的多个ip用 , 隔开 (default 127.0.0.1:6379 ) source-prefix: 源redis前缀, 可不填 source-redis-cluster: 源redis是否是集群, 默认 false target-auth: 迁移目标redis密码,如果有的话就填 target-database: 迁移目标database,默认是 0 target-hosts: 迁移目标redis地址, 集群的多个ip用 , 隔开 (default 127.0.0.1:6379 ) target-prefix: 迁移目标redis前缀, 可不填 target-redis-cluster: 迁移目标redis是否是集群, 默认 false有序集合
可以通过命令 redis-tool migrate sorted-set -h 查看使用说明
有序集合的数据量可能会比较大,所以这里按 50000 为单位进行了切割。我这里测试过迁移近17000000万条的数据,用时40多分钟。
$ redis-tool migrate hash helloworld \ --source-hosts 127.0.0.1:6379 \ --target-redis-cluster true \ --target-hosts 127.0.0.1:6379,127.0.0.1:7379 \ --target-auth 123456
迁移所有key的数据支持通配符过滤
可以通过命令 redis-tool migrate all -h 查看使用说明
$ redis-tool migrate all "ipdetect:*" \ --source-hosts 127.0.0.1:6379 \ --target-redis-cluster true \ --target-hosts 127.0.0.1:6379,127.0.0.1:7379 \ --target-auth 123456
这个命令会编译匹配到的所有类型的key,再根据key的类型进行逐步迁移。
尾巴
使用golang写的一个比较简单的工具, 主要用于在Redis没有持久化或多套Redis向一套Redis迁移的情况下使用。
到此这篇关于Redis migrate数据迁移工具的文章就介绍到这了,更多相关Redis migrate数据迁移工具内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
我想要获取技术服务或软件
服务范围:MySQL、ORACLE、SQLSERVER、MongoDB、PostgreSQL 、程序问题
服务方式:远程服务、电话支持、现场服务,沟通指定方式服务
技术标签:数据恢复、安装配置、数据迁移、集群容灾、异常处理、其它问题
本站部分文章参考或来源于网络,如有侵权请联系站长。
数据库远程运维 Redis migrate数据迁移工具的使用教程
相关文章
- Hive数据迁移到Redis:快速高效的数据处理方案(hive到redis)
- 最强菜鸟:使用Redis极速学习(菜鸟教程redis)
- 红钱包Redis小册子(老钱 redis小册子)
- 百度上学习Redis一一步步掌握数据库分布式技术(百度redis教程)
- Redis学习教程易百平台带你进阶(易百教程 redis)
- 使用互联网资源学习Redis笔记(互联网redis学习笔记)
- SSDB迁移至Redis,新的存储体验开启(ssdb迁移redis)
- 构建Redis利用假数据(如何往redis里假数据)
- 如何优雅地清理Redis缓存(如何删除redis缓存)
- Redis使用教程快速熟悉Redis的基础操作(使用教程redis)
- 教程付磊带你学习Redis视频教程(付磊redis视频)
- 多线程优化简化Redis修改过程(多线程修改redis)
- 分布式系统基于Redis实现可伸缩的OOS分布式系统(基于redis的oos)
- 实现响应时间提升的Redis数据缓存技术(响应数据缓存到redis)
- Redis环境部署搭建的必备依赖jar包(redis需要的jar包)
- 从Redis集群迁移到单机,一步一步踏准(redis集群迁移到单机)
- Redis集群分片迁移实现无缝切换(redis集群分片迁移)
- 学习Redis集合类型一次性掌握集合概念(redis集合类型教程)
- Redis集合Size测量及其特性分析(redis 集合size)
- 部署Redis集群,实现高可用及高性能(redis部署集群模式)
- 解决Redis缓存穿透与雪崩安全保障你的网站(redis缓存穿透和雪崩)