使用elasticdump做数据迁移
es版本
[root@localhost bin]# ./elasticdump --help
elasticdump: Import and export tools for elasticsearch
version: 4.6.0
1.elasticdump
安装
su - root
cd /opt
yum install epel-release
yum install nodejs
yum install npm
npm install elasticdump
cd node_modules/elasticdump/bin 后便可以执行操作。
#拷贝analyzer如分词
./elasticdump \
--input=http://192.168.1.85:9200/db_customer \
--output=http://192.168.1.118:9200/db_customer \
--type=analyzer
#拷贝映射
./elasticdump \
--input=http://192.168.1.85:9200/db_customer \
--output=http://192.168.1.118:9200/db_customer \
--type=mapping
#拷贝数据
./elasticdump \
--input=http://192.168.1.85:9200/db_customer \
--output=http://192.168.1.118:9200/db_customer \
--type=data
带验证的导入
./elasticdump \
--input=http://elastic:elastic@192.168.1.134:29200/db_customer \
--output=http://elastic:elastic@192.168.1.118:9200/db_customer \
--type=analyzer
#拷贝映射
./elasticdump \
--input=http://elastic:elastic@192.168.1.134:29200/db_customer \
--output=http://elastic:elastic@192.168.1.118:9200/db_customer \
--type=mapping
#拷贝数据
./elasticdump \
--input=http://elastic:elastic@192.168.1.134:29200/db_customer \
--output=http://elastic:elastic@192.168.1.118:9200/db_customer \
--type=data
------------------------原封不动的迁移----------------------------------------------
#拷贝分词
./elasticdump --input=http://192.168.1.136:19200/hxl_test --output=http://192.168.1.136:19200/bak01_hxl_test --type=analyzer
#拷贝映射
./elasticdump --input=http://192.168.1.136:19200/hxl_test --output=http://192.168.1.136:19200/bak01_hxl_test --type=mapping
#拷贝数据
./elasticdump --input=http://192.168.1.136:19200/hxl_test --output=http://192.168.1.136:19200/bak01_hxl_test --type=data
----------------------------提前创建索引后,只迁移数据------------------------
1.提前创建索引,结构可以跟源库的有一定的差异
比如在原来索引的基础上添加了"type": "nested"
2.同步数据
/opt/node_modules/elasticdump/bin/elasticdump
--input=http://192.168.1.136:19200/inoculate
--output=http://192.168.1.136:19200/inoculate_new --type=data
遇到的错误:
/opt/node_modules/elasticdump/lib/processor.js:40
async _loop (limit, offset, totalWrites) {
^^^^^
SyntaxError: Unexpected identifier
at createScript (vm.js:56:10)
at Object.runInThisContext (vm.js:97:10)
at Module._compile (module.js:549:28)
at Object.Module._extensions..js (module.js:586:10)
at Module.load (module.js:494:32)
at tryModuleLoad (module.js:453:12)
at Function.Module._load (module.js:445:3)
at Module.require (module.js:504:17)
at require (internal/module.js:20:19)
at Object.<anonymous> (/opt/node_modules/elasticdump/elasticdump.js:3:28)
[root@yeemiao-oracle-9e96168-prd bin]#
[root@yeemiao-oracle-9e96168-prd bin]# npm install -g n
/usr/bin/n -> /usr/lib/node_modules/n/bin/n
/usr/lib
└── n@6.0.1
[root@yeemiao-oracle-9e96168-prd
bin]# /opt/node_modules/elasticdump/bin/elasticdump
--input=http://172.17.10.20:19200/child_inocexamine_student
--output=http://172.17.10.61:29200/child_inocexamine_student
--type=analyzer
/opt/node_modules/elasticdump/lib/processor.js:40
async _loop (limit, offset, totalWrites) {
^^^^^
SyntaxError: Unexpected identifier
at createScript (vm.js:56:10)
at Object.runInThisContext (vm.js:97:10)
at Module._compile (module.js:549:28)
at Object.Module._extensions..js (module.js:586:10)
at Module.load (module.js:494:32)
at tryModuleLoad (module.js:453:12)
at Function.Module._load (module.js:445:3)
at Module.require (module.js:504:17)
at require (internal/module.js:20:19)
at Object.<anonymous> (/opt/node_modules/elasticdump/elasticdump.js:3:28)
解决办法:
#升级nodejs
[root@localhost ~]# npm install -g n
[root@localhost ~]# n latest
相关文章
- 数据迁移测试经验分享
- 数据迁移测试经验分享
- Cookies 初识 Dotnetspider EF 6.x、EF Core实现dynamic动态查询和EF Core注入多个上下文实例池你知道有什么问题? EntityFramework Core 运行dotnet ef命令迁移背后本质是什么?(EF Core迁移原理)
- Navicat 账号迁移与升级步骤
- 解决veeam one 数据库满/迁移 收缩veeam one数据库
- Git Wiki迁移及普通代码迁移
- 一个月黑风高的夜晚紧急完成gitlab服务器数据迁移
- 【时空大数据】Access 到 Postgres 数据迁移遇到的ODBC坑----驱动程序和应用程序之间的体系结构不匹配
- Oracle使用expdp/impdp迁移数据
- 2019年上半年收集到的人工智能迁移学习干货文章
- Linux系统下 MYSQL数据库中的数据库文件在本机内迁移 (需暂停服务的方式)
- 如何执行一套数据推动的云迁移方法
- PyTorch深度学习实战 | 搭建卷积神经网络进行图像分类与图像风格迁移
- 【oracle11g,17】存储结构: 段的类型,数据块(行连接、行迁移,块头),段的管理方式,高水位线
- 企业业务迁移到云计算的五个理由
- 数据主权将会影响数据中心的迁移
- 将数据中心迁移到云时易犯的10个错误
- EF 数据迁移 新
- 风格迁移网络(vgg19提取特征,gram矩阵提取风格特征)