mysql数据插入优化方法
2023-06-13 09:14:26 时间
通常来说,在MyISAM里读写操作是串行的,但当对同一个表进行查询和插入操作时,为了降低锁竞争的频率,根据concurrent_insert的设置,MyISAM是可以并行处理查询和插入的:
当concurrent_insert=0时,不允许并发插入功能。
当concurrent_insert=1时,允许对没有洞洞的表使用并发插入,新数据位于数据文件结尾(缺省)。
当concurrent_insert=2时,不管表有没有洞洞,都允许在数据文件结尾并发插入。
这样看来,把concurrent_insert设置为2是很划算的,至于由此产生的文件碎片,可以定期使用OPTIMIZETABLE语法优化。
max_write_lock_count:
缺省情况下,写操作的优先级要高于读操作的优先级,即便是先发送的读请求,后发送的写请求,此时也会优先处理写请求,然后再处理读请求。这就造成一个问题:一旦我发出若干个写请求,就会堵塞所有的读请求,直到写请求全都处理完,才有机会处理读请求。此时可以考虑使用max_write_lock_count:
max_write_lock_count=1
有了这样的设置,当系统处理一个写操作后,就会暂停写操作,给读操作执行的机会。
low-priority-updates:
我们还可以更干脆点,直接降低写操作的优先级,给读操作更高的优先级。
low-priority-updates=1
综合来看,concurrent_insert=2是绝对推荐的,至于max_write_lock_count=1和low-priority-updates=1,则视情况而定,如果可以降低写操作的优先级,则使用low-priority-updates=1,否则使用max_write_lock_count=1。
set-variable=max_allowed_packet=1M
set-variable=net_buffer_length=2K
在myisamengine下
1.尽量使用insertintotable_namevalues(...),(.....),(.....)这样形式插入数据,避免使用insetintotable_namevalues();insetintotable_namevalues();insetintotable_namevalues();
2增加bulk_insert_buffer_size(默认8M)
3如果是非空表,使用altertabletable_namedisablekeys,然后loaddatainfile,导入完数据在执行:
altertabletable_nameenablekeys.如果是空表,就不需要这个操作,因为myisam表在空表中导入数据时,是先导入数据然后建立indexs。
4在插入数据时考虑使用:insertdelayed....这样操作实际mysql把insert操作放到队列里面,进行相对集中的插入,速度更快。
5.使用loaddatainfile比使用insert操作快近20倍,尽量使用此操作。
在innodbengine下
1.导入数据之前执行setunique_checks=0来禁止对唯一索引的检查,数据导入完成之后再运行setunique_checks=1.
2.导入数据之前执行setforeign_key_checks=0来禁止对外键的检查,数据导入完成之后再执行setforeign_key_checks=1.
3.导入数据之前执行setautocommit=0禁止自动事务的自动提交,数据导入完成之后,执行setautocommit=1恢复自动提交操作。
使用innodbengine的表,物理存储都是按PK的顺序存的。不能使用类似于myisam一样disablekeys.
硬件上提高磁盘的I/0对插入速度很有好处(所以如果进行大数据量的导入导出工作,尽量在比较NB的硬件上进行,能缩减完成的时间,已经防止出现问题)。
当一个线程对一个表执行一个DELAYED语句时,如果不存在这样的处理程序,一个处理器线程被创建以处理对于该表的所有DELAYED语句。
线程检查处理程序是否已经获得了一个DELAYED锁;如果没有,它告诉处理程序去获得。即使其他的线程有在表上的一个READ或WRITE锁,也能获得DELAYED锁。然而,处理程序将等待所有ALTERTABLE锁或FLUSHTABLES以保证表结构是最新的。
线程执行INSERT语句,但不是将行写入表,它把最后一行的副本放进被处理器线程管理的一个队列。任何语法错误都能被线程发觉并报告给客户程序。
顾客不能报告结果行的重复次数或AUTO_INCREMENT值;它不能从服务器获得它们,因为INSERT在插入操作完成前返回。如果你使用CAPI,同样原因,mysql_info()函数不返回任何有意义的东西。
当行被插入到表中时,更新日志有处理器线程更新。在多行插入的情况下,当第一行被插入时,更新日志被更新。
在每写入delayed_insert_limit行后,处理器检查是否任何SELECT语句仍然是未完成,如果这样,在继续之前允许执行这些语句。
当处理器在它的队列中没有更多行时,表被解锁。如果在delayed_insert_timeout秒内没有收到新的INSERTDELAYED命令,处理器终止。
如果已经有多于delayed_queue_size行在一个特定的处理器队列中未解决,线程等待直到队列有空间。这有助于保证mysqld服务器对延迟的内存队列不使用所有内存。
处理器线程将在Command列的MySQL进程表中显示delayed_insert。如果你执行一个FLUSHTABLES命令或以KILLthread_id杀死它,它将被杀死,然而,它在退出前首先将所有排队的行存进表中。在这期间,这次它将不从其他线程接受任何新的INSERT命令。如果你在它之后执行一个INSERTDELAYED,将创建一个新的处理器线程。
注意,上述意味着,如果有一个INSERTDELAYED处理器已经运行,INSERTDELAYED命令有比正常INSERT更高的优先级!其他更新命令将必须等到INSERTDELAY排队变空、杀死处理器线程(用KILLthread_id)或执行FLUSHTABLES。
下列状态变量提供了关于INSERTDELAYED命令的信息:Delayed_insert_threads处理器线程数量
Delayed_writes用INSERTDELAYED被写入的行的数量
Not_flushed_delayed_rows等待被写入的行数字
当concurrent_insert=0时,不允许并发插入功能。
当concurrent_insert=1时,允许对没有洞洞的表使用并发插入,新数据位于数据文件结尾(缺省)。
当concurrent_insert=2时,不管表有没有洞洞,都允许在数据文件结尾并发插入。
这样看来,把concurrent_insert设置为2是很划算的,至于由此产生的文件碎片,可以定期使用OPTIMIZETABLE语法优化。
max_write_lock_count:
缺省情况下,写操作的优先级要高于读操作的优先级,即便是先发送的读请求,后发送的写请求,此时也会优先处理写请求,然后再处理读请求。这就造成一个问题:一旦我发出若干个写请求,就会堵塞所有的读请求,直到写请求全都处理完,才有机会处理读请求。此时可以考虑使用max_write_lock_count:
max_write_lock_count=1
有了这样的设置,当系统处理一个写操作后,就会暂停写操作,给读操作执行的机会。
low-priority-updates:
我们还可以更干脆点,直接降低写操作的优先级,给读操作更高的优先级。
low-priority-updates=1
综合来看,concurrent_insert=2是绝对推荐的,至于max_write_lock_count=1和low-priority-updates=1,则视情况而定,如果可以降低写操作的优先级,则使用low-priority-updates=1,否则使用max_write_lock_count=1。
set-variable=max_allowed_packet=1M
set-variable=net_buffer_length=2K
在myisamengine下
1.尽量使用insertintotable_namevalues(...),(.....),(.....)这样形式插入数据,避免使用insetintotable_namevalues();insetintotable_namevalues();insetintotable_namevalues();
2增加bulk_insert_buffer_size(默认8M)
3如果是非空表,使用altertabletable_namedisablekeys,然后loaddatainfile,导入完数据在执行:
altertabletable_nameenablekeys.如果是空表,就不需要这个操作,因为myisam表在空表中导入数据时,是先导入数据然后建立indexs。
4在插入数据时考虑使用:insertdelayed....这样操作实际mysql把insert操作放到队列里面,进行相对集中的插入,速度更快。
5.使用loaddatainfile比使用insert操作快近20倍,尽量使用此操作。
在innodbengine下
1.导入数据之前执行setunique_checks=0来禁止对唯一索引的检查,数据导入完成之后再运行setunique_checks=1.
2.导入数据之前执行setforeign_key_checks=0来禁止对外键的检查,数据导入完成之后再执行setforeign_key_checks=1.
3.导入数据之前执行setautocommit=0禁止自动事务的自动提交,数据导入完成之后,执行setautocommit=1恢复自动提交操作。
使用innodbengine的表,物理存储都是按PK的顺序存的。不能使用类似于myisam一样disablekeys.
硬件上提高磁盘的I/0对插入速度很有好处(所以如果进行大数据量的导入导出工作,尽量在比较NB的硬件上进行,能缩减完成的时间,已经防止出现问题)。
当一个线程对一个表执行一个DELAYED语句时,如果不存在这样的处理程序,一个处理器线程被创建以处理对于该表的所有DELAYED语句。
线程检查处理程序是否已经获得了一个DELAYED锁;如果没有,它告诉处理程序去获得。即使其他的线程有在表上的一个READ或WRITE锁,也能获得DELAYED锁。然而,处理程序将等待所有ALTERTABLE锁或FLUSHTABLES以保证表结构是最新的。
线程执行INSERT语句,但不是将行写入表,它把最后一行的副本放进被处理器线程管理的一个队列。任何语法错误都能被线程发觉并报告给客户程序。
顾客不能报告结果行的重复次数或AUTO_INCREMENT值;它不能从服务器获得它们,因为INSERT在插入操作完成前返回。如果你使用CAPI,同样原因,mysql_info()函数不返回任何有意义的东西。
当行被插入到表中时,更新日志有处理器线程更新。在多行插入的情况下,当第一行被插入时,更新日志被更新。
在每写入delayed_insert_limit行后,处理器检查是否任何SELECT语句仍然是未完成,如果这样,在继续之前允许执行这些语句。
当处理器在它的队列中没有更多行时,表被解锁。如果在delayed_insert_timeout秒内没有收到新的INSERTDELAYED命令,处理器终止。
如果已经有多于delayed_queue_size行在一个特定的处理器队列中未解决,线程等待直到队列有空间。这有助于保证mysqld服务器对延迟的内存队列不使用所有内存。
处理器线程将在Command列的MySQL进程表中显示delayed_insert。如果你执行一个FLUSHTABLES命令或以KILLthread_id杀死它,它将被杀死,然而,它在退出前首先将所有排队的行存进表中。在这期间,这次它将不从其他线程接受任何新的INSERT命令。如果你在它之后执行一个INSERTDELAYED,将创建一个新的处理器线程。
注意,上述意味着,如果有一个INSERTDELAYED处理器已经运行,INSERTDELAYED命令有比正常INSERT更高的优先级!其他更新命令将必须等到INSERTDELAY排队变空、杀死处理器线程(用KILLthread_id)或执行FLUSHTABLES。
下列状态变量提供了关于INSERTDELAYED命令的信息:Delayed_insert_threads处理器线程数量
Delayed_writes用INSERTDELAYED被写入的行的数量
Not_flushed_delayed_rows等待被写入的行数字
相关文章
- 建立MySQL高可用的一主两从架构(mysql一主两从)
- MySQL数据轻松转Access(mysql转access)
- 10000条数据提高效率MySQL优化:超过10k条记录的效率提升(mysql大于)
- MySQL数据存储探索之旅(mysql数据存储文件)
- MySQL查询中查看字段详情(mysql显示字段)
- 将MySQL数据库导出到文件的简单方法(mysql保存到文件)
- MySQL快速复制创建相同表(mysql创建相同的表)
- Mysql中Index函数的使用(index函数mysql)
- 转换将MySQL 二进制数据转化为可读文本(mysql二进制数据)
- MySQL中查找重复数据的方法(mysql查找重复数据)
- MySQL插入操作:快速向数据库新增数据(mysql插入)
- MySQL中高效删除大批量数据的方法(mysql高效删除)
- 如何在MySQL中查询日期段数据?(mysql日期段)
- 如何在MySQL中复制列数据(mysql复制列数据)
- 如何使用MySQL查找重复的数据?(mysql查找数据重复)
- MySQL数据导入遭遇乱码困扰(mysql数据导入乱码)
- MySQL中的JAR包是什么(mysql中jar包是啥)
- MySQL数据入库从C程序开始(c mysql数据入库)
- 使用C语言优雅地操作MySQL 带参数值的调用方法(c mysql 带参数值)
- MySQL的四种数据隔离级别了解并应用(mysql中4个隔离级别)
- 如何使用MySQL进行两表相乘操作(mysql两表相乘怎么用)
- MySQL中的CHAR字段类型介绍(char在mysql)
- MySQL查询语句从入门到精通(assql mysql)
- 安装32位的MySQL把它安排妥当了吗(32位 装mysql吗)
- 深入浅出MySQL单表查询,轻松解决你的问题(mysql中单表查询题目)
- MySQL分区轻松管理海量数据(mysql中创建分区)
- MySQL三表条件查询让数据交错有序再次呈现(mysql三表条件查询)
- 如何使用MySQL命令行下载数据(mysql下载数据命令行)
- MySQL表无法同步,无法实现数据同步(mysql不能同步表)
- 使用Redis实现数据的MySQL快速同步(redis转mysql)