MySQL 深度分页技巧,拯救海量数据查询慢的困局
2023-04-18 16:05:27 时间
从一个问题说起
六年前刚工作的时候,发现分页场景下,当offset变大,MySQL处理速度非常慢!具体sql如下:
select * from t_record where age > 10 offset 10000 limit 10
下表所示为表t_record结构,为了简单起见,只列了我们将讨论的字段,其余字段省略。
字段名 | 类型 | 描述 |
---|---|---|
id | bigint(20) unsigned | 主键id |
age | int | 年龄 |
其中t_record是要查询的数据表,表中一共有50000条记录,age字段上有索引,且age>10的记录有20000条。
这条语句非常慢,基本达到了秒级延迟,在第二次请求有缓存之后,才变快。
在数据量这么少的情况下,走索引还这么慢,这完全不能接受,我就问我导师为什么,他反问“索引场景,MySQL中获得第n大的数,时间复杂度是多少?”
答案的追寻
小白直觉作答
针对我们的问题,这里介绍两个相关的概念:
- 聚簇索引:包含主键索引和对应的实际数据,索引的叶子节点就是数据节点;
- 辅助索引:也叫二级节点,其叶子节点还是索引节点,并没有完整的数据,仅包含了索引值本身和主键id,用主键id反查聚蔟索引才能获取完整数据。
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!