1. 查询优化
1.1 永远小表驱动大表
小表驱动大表的理解我们可以通过下面的java代码来理解一下:
// 第一种循环的方式
for(int i = 0;i < 5;i++){
for(int j = 0;j<1000;j++){
}
}
// 第二种循环的方式
for(int i = 0;i < 1000;i++){
for(int j = 0;j<5;j++){
}
}
虽然上面的Java代码都表示循环5000次,但是在mysql中,推荐使用第一种循环方式,即小表驱动大表。
1.2 order by 关键字优化
1.2.1 order by子句,尽量使用index方式排序,避免使用filesort方式排序
- 建表和创建索引
CREATE TABLE `tbla` (
`id` int(11) NOT NULL,
`age` int(11) DEFAULT NULL,
`brith` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE INDEX idx_A_ageBirth ON tblA(age,birth);
- 各种order by条件的执行情况
- MySQL支持两种方式的排序,FileSort和Index。Index效率高,它指MySQL扫描索引本身完成排序,FileSort方式效率低。
- ORDER BY满足两种情况,会使用Index方式排序。第一种是ORDER BY语句使用索引最左前列,第二种是使用Where子句与ORDER BY子句条件列组合满足索引最左前列
1.2.2 FileSort算法介绍
尽可能在索引列上完成排序操作,遵照索引建的最佳做前缀。如果不在索引列上,filesort有两种算法,mysql就要启动双路排序和单路排序。
- 双路排序
MySQL 4.1 之前是使用双路排序,字面意思就是两次扫描磁盘,最终得到数据。读取行指针和orderby列,对他们进行排序,然后扫描已经排序好的列表,按照列表中的值重新从列表中读取对应的数据输出。从磁盘取排序字段,在buffer进行排序,再从磁盘取其他字段。 - 单路排序
取一批数据,要两次磁盘IO,是很耗时的,所以出现了第二种改进的算法,就是单路排序。从磁盘读取查询需要的所有列,按照order by列在buffer对他们进行排序,然后扫描排序后的列表进行输出,它的效率更快一些,避免了第二次读取数据。并且把随机IO变成了顺序IO,但是它会使用更多的空间。因为它把每一行都保存在内存中了。
结论以及引申出的问题:
由于单路是一次磁盘IO,总体而言效率高于双路,但是单路有问题:
1.2.3 优化策略
- 增大sort_buffer-size参数的设置
- 增大max_length_for_sort_data参数的设置
1.2.4 为排序使用索引
1.2 group by 关键字优化
- group by实质是先排序后进行分组,遵照索引建的最佳左前缀
- 当无法使用索引列,增大max_length_for_sort_data参数的设置+增大sort buffer size参数的设置
- where高于having,能写在where限定的条件就不要去having限定了
2. 慢查询日志
2.1 简介
- MySQL的慢查询日志是mysql提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。
- 具体指运行时间超过long_query_time 的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10秒以上的语句。
- 有它来查看哪些SQL超出了我们的最大忍耐时间值,比如一条SQL执行超过5秒钟,我们就算慢SQL,希望能收集超过5秒的SQL,结合之前EXPLAIN进行全面分析
2.2 使用
2.2.1 说明
- 默认情况下,MySQL数据库没有开启慢查询日志,需要我们手动来设置这个参数
- 当然,如果不是调优需要的话,一般
不建议启动该参数
,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件
2.2.2 查看是否开启及如何开启
- 默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启
SHOW VARIABLES LIKE '%slow_query_log%';
- 开启慢查询日志只对当前数据库生效,如果MySQL重启后则会失效
SET GLOBAL slow_query_log = 1;
如果要永久生效,就必须修改配置文件my.cnf,修改my.cnf,[mysqld]下增加或修改参数
slow_query_log和slow_query_log_file后,然后重启MySQL服务器,也即将如下两行配置进my.cnf文件
slow_query_log=1
slow_query_log_file=/var/lib/mysql/why-solw.log
关于慢查询的参数slow_query_log_file,它指定慢查询日志文件的存放路径,系统默认会给你个缺省的文件host_name_log_file.log(如果没有指定参数slow_query_log_file的话)
2.2.3 开启慢查询日志后,什么样的SQL才会记录到日志中
这个是有参数long_query_time控制,默认情况下值为10秒。
命令:
SHOW VARIABLES LIKE 'long_query_time%'
可以使用命令修改,也可以在my.cnf参数里面修改。
假如运行时间正好等于long_query_time的情况,并不会被记录下来,也就是说,在mysql源码里是判断大于long_query_time,而非大于等于
。
2.2.4 使用方法
- 查看当前多少秒算慢
SHOW VARIABLES LIKE 'long_query_time%'
- 设置慢的阙值时间
SET GLOBAL long_query_time = 3;
- 为什么设置后重新查看仍然没改变
需要重新连接或断开当前会话才能看到修改值
或执行下面的命令
SHOW GLOBAL VARIABLES LIKE 'long_query_time';
- 查询当前系统中有多少条慢SQL查询记录
SHOW GLOBAL STATUS LIKE '%Slow_queries%';
2.3 日志分析工具mysqldumpslow
3. Show Profile
Show Profile是mysql提供可以用来分析当前会话中语句执行的资源消耗情况,可以用于SQL的调优的测量,默认情况下,参数处于关闭状态,并保存最近15次的运行结果。
3.1 分析步骤
- 是否支持,看看当前的mysql版本是否支持
SHOW VARIABLES LIKE 'profiling'
- 开启功能,默认是关闭的,使用前需要开启
SET profiling = ON;
SHOW VARIABLES LIKE 'profiling';
- 运行SQL
- 查看结果
show profiles;
- 诊断SQL
show profile cpu,block,io for query 上一步问题SQL的数字号码
– 日常开发需要注意的结论
converting HEAP to MyISAM 查询结果太大,内存都不够用了往磁盘上搬了
Creating tmp table 创建临时表
Copying to tmp table on disk 把内存中临时表复制到磁盘,危险
locked
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/3923.html