慢SQL诊断优化套路包,套路用的对,速度升百倍
2023-03-14 22:25:44 时间
在DBA的日常工作中,调整个别性能较差的SQL语句是一项富有挑战性的工作。面对慢SQL,一些DBA会心烦,会沮丧,会束手无措,也会沉着冷静、斗智斗勇!当中的关键在于数据库管理员如何分析得出SQL语句的执行计划和如何从SQL语句的执行计划中发现问题。
下面老王就慢SQL的诊断和优化分享一些常用的套路~
慢SQL诊断
系统层面:检查系统服务器运行情况,磁盘 I/O 等;
数据库层面:
- 对于MySQL来说,通过慢日志定位慢SQL;
- 对于慢SQL,查看其执行计划,分析耗时的原因;
- 如果缺失索引,根据业务需求,创建合适的索引;如果由于SQL语句的写法有问题,需要根据业务逻辑优化语句的写法。
实用的SQL诊断工具:SQLTXPLAIN
是Oracle专家开发的,用于诊断SQL相关的问题的工具,简单易用却功能强大。
对于慢SQL诊断支持很多Optimzer问题:如执行计划异常、SQL慢、结果不正(Wrong Result)等。
慢SQL优化
由 SQL 编写导致的慢 SQL 的优化建议:
- 字段类型转换导致不用索引,如字符串类型的不用引号,数字类型的用引号等,这有可能会用不到索引导致全表扫描;
- mysql 不支持函数转换,所以字段前面不能加函数,否则这将用不到索引;
- 不要在字段前面加减运算;
- 字符串比较长的可以考虑索引一部份减少索引文件大小,提高写入效率;
- like % 在前面用不到索引;
- 根据联合索引的第二个及以后的字段单独查询用不到索引;
- 不要使用 select *;
- 排序请尽量使用升序 ;
- or 的查询尽量用 union 代替 (Innodb);
- 复合索引高选择性的字段排在前面;
- order by / group by 字段包括在索引当中减少排序,效率会更高。
- 删除表所有记录请用 truncate,不要用 delete
- 不让 mysql 干多余的事情,如:计算
- 在 Innodb上用 select count(*),因为 Innodb 会存储统计信息;
- 慎用 Oder by rand()。
开源 SQL 优化平台
对于 SQL 语句的优化,现在有一些开源的SQL优化平台,这些融入了大量DBA工程师的经验,我们可以借助这些平台对 SQL 进行优化。
1. SOAR
地址:https://github.com/XiaoMi/soar/
是一款 SQL 智能优化与改写工具,由小米运维 DBA 团队出品,SOAR 主要由语法解析器、集成环境、优化建议、重写逻辑、工具集五大模块组成,相比业内其他优秀产品有自己的优势,不仅能帮助你 rewrite SQL并且能给出一些优化的建议。
2. SQLAdvisor
地址:https://github.com/Meituan-Dianping/SQLAdvisor
是由美团点评公司技术工程部DBA团队(北京)开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL的原生态词法解析,结合分析SQL中的其中条件,聚合条件,多表加入关系给出索引优化建议。
相关文章
- Hadoop让大数据在零售业变得更有价值
- 5种大数据分析方法帮助银行重拾客户信心
- 存量经营时代来临,看TalkingData如何解读
- 数据可视化技术的误区
- 大数据时代 无处安放的隐私数据
- 如何利用Tableau对Amazon Redshift数据进行可视化
- TensorFlow和Caffe、CNTK、MXNet等其他7种深度学习框架的对比
- 为什么要进行现代数据集成?核心驱动程序和特性
- Kudu,支持快速分析的新型Hadoop存储系统
- 告别野蛮生长,迎接存量掘金时代
- 如何看穿数据可视化的谎言
- 使用R进行数据匹配的方法
- 可视化不确定网络的概率图布局方法
- 五个不容忽视的“非主流”大数据技术工具
- 为什么说Storm比Hadoop 快?
- Flink常见的关键技术与特性详解
- 【1971-2050 计算革命简史】从摩尔定律到“消失”的计算机
- 美数科技创始人范昂:广告只是表现,“信息流+大数据”才是数字营销的未来
- Hadoop面试中6个常见的问题及答案
- 从零开始,构建数据化运营体系