MySQL 8 新特性之自增主键的持久化
mysql 特性 主键 持久
2023-09-27 14:22:16 时间
自增主键没有持久化是个比较早的bug,这点从其在官方bug网站的id号也可看出(https://bugs.mysql.com/bug.php?id=199)。由Peter Zaitsev(现Percona CEO)于2003年提出。历史悠久且臭名昭著。
首先,直观的重现下。
mysql> create table t1(id int auto_increment primary key); Query OK, 0 rows affected (0.01 sec) mysql> insert into t1 values(null),(null),(null); Query OK, 3 rows affected (0.01 sec) Records: 3 Duplicates: 0 Warnings: 0 mysql> select * from t1; +----+ | id | +----+ | 1 | | 2 | | 3 | +----+ 3 rows in set (0.00 sec) mysql> delete from t1 where id=3; Query OK, 1 row affected (0.36 sec) mysql> insert into t1 values(null); Query OK, 1 row affected (0.35 sec) mysql> select * from t1; +----+ | id | +----+ | 1 | | 2 | | 4 | +----+ 3 rows in set (0.01 sec)
虽然id为3的记录删除了,但再次插入null值时,并没有重用被删除的3,而是分配了4。
删除id为4的记录,重启数据库,重新插入一个null值。
mysql> delete from t1 where id=4; # service mysqld restart mysql> insert into t1 values(null); Query OK, 1 row affected (0.00 sec) mysql> select * from t1; +----+ | id | +----+ | 1 | | 2 | | 3 | +----+ 3 rows in set (0.00 sec)
可以看到,新插入的null值分配的是3,按照重启前的操作逻辑,此处应该分配5啊。
这就是自增主键没有持久化的bug。究其原因,在于自增主键的分配,是由InnoDB数据字典内部一个计数器来决定的,而该计数器只在内存中维护,并不会持久化到磁盘中。当数据库重启时,该计数器会通过下面这种方式初始化。
SELECT MAX(ai_col) FROM table_name FOR UPDATE;
MySQL 8.0的解决思路
将自增主键的计数器持久化到redo log中。每次计数器发生改变,都会将其写入到redo log中。如果数据库发生重启,InnoDB会根据redo log中的计数器信息来初始化其内存值。为了尽量减小对系统性能的影响,计数器写入到redo log中,并不会马上刷新。具体可参考:https://dev.mysql.com/worklog/task/?id=6204
因自增主键没有持久化而出现问题的常见场景:
1. 业务将自增主键作为业务主键,同时,业务上又要求主键不能重复。
2. 数据会被归档。在归档的过程中有可能会产生主键冲突。
所以,强烈建议不要使用自增主键作为业务主键。刨除这两个场景,其实,自增主键没有持久化的问题并不是很大,远没有想象中的”臭名昭著“。
最后,给出一个归档场景下的解决方案,
创建一个存储过程,根据table2(归档表)自增主键的最大值来初始化table1(在线表)。这个存储过程可放到init_file参数指定的文件中,该文件中的SQL会在数据库启动时执行。
DELIMITER ;; CREATE PROCEDURE `auto_increment_fromtable2`(IN table1 VARCHAR(255), IN table2 VARCHAR(255)) BEGIN set @qry = concat('SELECT @max1 := (`id` + 1) FROM `',table1,'` ORDER BY `id` DESC LIMIT 1;'); prepare stmt from @qry; execute stmt; deallocate prepare stmt; set @qry = concat('SELECT @max2 := (`id` + 1) FROM `',table2,'` ORDER BY `id` DESC LIMIT 1;'); prepare stmt from @qry; execute stmt; deallocate prepare stmt; IF @max1 < @max2 THEN set @qry = concat('alter table `',table1,'` auto_increment=',@max2);prepare stmt from @qry;execute stmt;deallocate prepare stmt; SELECT 'updated' as `status`; else SELECT 'no update needed' as `status`; END IF; END ;; DELIMITER ;
相关文章
- mysql 用户授权
- MySQL全局锁和表锁
- (转)MySql 获取所有级联父级或所有级联子级
- 迄今最安全的MySQL?细数5.7那些惊艳与鸡肋的新特性(上)
- Max_connect_errors – MySQL性能参数详解
- mysql字符串用法
- mysql分表场景分析与简单分表操作
- 利用mysql对特殊字符和超长字符会进行截断的特性 进行存储型XSS攻击——WordPress <4.1.2 & <=4.2 存储型xss
- MySQL SELECT语句中只能输出1000行数据的原因
- 【Mysql】 my.ini配置一例
- 浅析事务是什么、mysql是如何实现事务提交和回滚的、保证事务持久性redo log的实现原理、保证事务一致性undo log的实现原理、事务ACID特性及其实现原理
- MySQL数据库优化技术概述
- MySQL隔离级别实验
- MySQL更改表的存储引擎
- MySQL · 引擎特性 · InnoDB崩溃恢复
- (5.1)mysql高可用系列——高可用架构方案概述
- MySQL启动报错“Bind on TCP/IP port: Address already in use”
- MySQL无法远程连接解决方案
- 【MySQL】MySQL 8.0 新特性之 - 窗口函数(Window Functions)
- 【MySQL】 MySQL 8.0 新特性之原子 DDL