mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
2023-09-27 14:29:21 时间
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误
1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完
2.导入前修改参数和禁止索引更新
mysql SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;
mysql set global KEY_BUFFER_SIZE=256217728;
mysql alter table ${table_name} disable keys;
mysql LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY , LINES TERMINATED BY \n (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)
3.导入后
mysql ALTER TABLE ${table_name} ENABLE KEYS;
耗时统计:
LOAD DATA INFILE... 这步耗时8分钟左右
ALTER TABLE... 这步耗时12分钟左右
@dailidong@ 专注架构 外功修行,内功修神 CSDN博客:http://blog.csdn.net/odalidong
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)
首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${db_name}/ 下,并确保导入用户拥有这个txt文件的权限,否则会报Error 13错误
1.${table_name}换myisam,我们的场景对事务没啥要求,innodb引擎速度太慢了,原来导入12个小时都没导完
2.导入前修改参数和禁止索引更新
mysql SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
mysql SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;
mysql set global KEY_BUFFER_SIZE=256217728;
mysql alter table ${table_name} disable keys;
mysql LOAD DATA INFILE "top5000W.txt" INTO TABLE ${table_name} FIELDS TERMINATED BY , LINES TERMINATED BY \n (id,day,app_ids,id_1,id_2,id_3,combine_rate,active_nums,id_size)
3.导入后
mysql ALTER TABLE ${table_name} ENABLE KEYS;
耗时统计:
LOAD DATA INFILE... 这步耗时8分钟左右
ALTER TABLE... 这步耗时12分钟左右
@dailidong@ 专注架构 外功修行,内功修神 CSDN博客:http://blog.csdn.net/odalidong
相关文章
- MySQL错误ERROR 2003 (HY000) Can't connect to MySQL server .' (111)
- MySQL slow_query_log慢查询日志配置详解
- 使用MapReduce将HDFS数据导入Mysql
- mysql api
- Oracle数据库:oracle数据表格dmp,sql,pde格式导入与导出,视图、序列、索引等对象的导出,oracle完结,后续开启mysql的学习
- MySQL 命令行导出、导入Select 查询结果
- 基于Go语言+Vue MySQL实现(Web)毕业设计网上选题系统【100010336】
- Exel文件数据导入至Mysql数据库
- mysql 启动停止脚本 and mysql 迁移 导入和导出
- MySQL基础之---mysqlimport工具和LOAD DATA命令导入文本文件
- 记录一次mysql使用load into命令导入csv格式数据的过程
- MYSQL导入csv类型的数据出现The MySQL server is running with the --secure-file-priv option
- MYSQL插入处理重复键值的几种方法
- 将数据导入MongoDB集群与MySQL
- mysql 导入数据时一定要改这个值 max_allowed_packet = 1000M
- mysql导入报错 [Err] 1273 - Unknown collation: 'utf8mb4_0900_ai_ci'
- Mysql 导入CSV数据 语句 导入时出现乱码的解决方案
- Unable to create initial connections of pool. spring boot mysql
- mysql导入数据,涉及到时间转换,乱码问题解决
- 这才是正确解决方法:VS写C#项目时,导入MySQL数据源返回错误/报错 “You have a usable connection already“
- MySQL协议-认证握手过程
- Solr导入MySQL数据之dataimport-handler
- mysql数据导入导出