zl程序教程

您现在的位置是:首页 >  数据库

当前栏目

MySQL 深度分页技巧,拯救海量数据查询慢的困局

2023-04-18 16:05:27 时间

从一个问题说起

六年前刚工作的时候,发现分页场景下,当offset变大,MySQL处理速度非常慢!具体sql如下:

select * from t_record where age > 10 offset 10000 limit 10

下表所示为表t_record结构,为了简单起见,只列了我们将讨论的字段,其余字段省略。

字段名

类型

描述

id

bigint(20) unsigned

主键id

age

int

年龄

其中t_record是要查询的数据表,表中一共有50000条记录,age字段上有索引,且age>10的记录有20000条。

这条语句非常慢,基本达到了秒级延迟,在第二次请求有缓存之后,才变快。

在数据量这么少的情况下,走索引还这么慢,这完全不能接受,我就问我导师为什么,他反问“索引场景,MySQL中获得第n大的数,时间复杂度是多少?”

答案的追寻

小白直觉作答

针对我们的问题,这里介绍两个相关的概念:

  • 聚簇索引:包含主键索引和对应的实际数据,索引的叶子节点就是数据节点;
  • 辅助索引:也叫二级节点,其叶子节点还是索引节点,并没有完整的数据,仅包含了索引值本身和主键id,用主键id反查聚蔟索引才能获取完整数据。