MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志

奋斗吧
奋斗吧
擅长邻域:未填写

标签: MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志 JavaScript博客 51CTO博客

2023-07-23 18:24:16 86浏览

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志,MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志



文章目录

  • 一、练习题目
  • 二、SQL思路:SQL进阶-查询优化-慢查询日志
  • 初始化数据
  • 解法
  • 慢查询日志是什么
  • 如何开启慢查询日志
  • 第一种方式
  • windows实战
  • slow_query_log 一直为off,没生效
  • 验证
  • linux实战
  • 验证
  • 第二种方式
  • 实操
  • 验证
  • 关闭慢查询日志
  • 第一种方式
  • windows实战
  • 验证
  • linux实战
  • 验证
  • 第二种方式
  • 扩展
  • 慢查询日志失效原因一:在线动态设置long_query_time,对当前已建立的连接不会生效
  • 慢查询日志失效原因二:未使用索引的 SQL 记录不会写入慢查询日志
  • 慢查询日志失效原因三:慢sql里有锁等待
  • 慢查询日志失效原因四:默认不记录管理类命令的慢sql
  • 慢查询日志失效原因五:min_examined_row_limit为非0
  • 慢查询日志失效原因六:slow log文件句柄发生了变化
  • 慢查询日志失效原因七:从库的复制语句默认不记录
  • 三、总结
  • 四、参考


一、练习题目

题目链接

难度

SQL进阶-查询优化-慢查询日志

★★★☆☆

二、SQL思路:SQL进阶-查询优化-慢查询日志

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_02

初始化数据

drop table if exists student;
CREATE TABLE `student` (
`id` int NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`order_num` long NOT NULL  COMMENT '序号',
`student_name` varchar(20) NOT NULL COMMENT '姓名',
`age` int COMMENT '年龄',
 PRIMARY KEY (`id`)
 )ENGINE=InnoDB CHARACTER SET utf8 COLLATE utf8_general_ci;

插入100万条数据,这里使用了存储过程,进行批量提交数据,先关闭自动提交,插入一定条数再进行提交。

--创建存储过程

drop procedure if exists add_student;

CREATE  PROCEDURE `add_student`(in n int,in batchNum int) 
BEGIN
    DECLARE i INT DEFAULT 1;
		
	WHILE (i < n+1 ) DO
	
	set autocommit = 0;
		INSERT into student (order_num,student_name,age) VALUES (i,concat('student_name',i),20);
		set i=i+1;
		if i mod batchNum = 0 then
                commit;
     end if;
	END WHILE;
	 commit;
END
-- 调用
CALL add_student(1000000,100000)

解法

要求处理:

  • 从四个选项中选择一个正确答案

分析:

慢查询日志是什么

mysql支持执行超过一定时间long_query_time 的sql语句记录到日志里,方便开发或dba人员去优化sql语句。超过一定时间:这个是可以由参数long_query_time 进行配置。

如何开启慢查询日志

第一种方式

可以在mysql的配置文件里开启慢查询日志。
mysql中“my.ini”文件:

  • 1、linux系统中,默认该文件的位置是“/etc/mysql/my.cnf”;
  • 2、windows系统中,默认该文件的位置是“C:\ProgramData\MySQL\MySQL Server **\Data\my.ini”。

其中C:\ProgramData是隐藏目录,需要显示隐藏目录才能找到。

[mysqld]
slow_query_log = 1
slow_query_log_file = /data/mysql/log/query_log/slow_statement.log
long_query_time = 10
log_output = FILE

配置项说明:

slow_query_log:1代表开启慢查询日志。0:代表关闭慢查询日志。
slow_query_log_file:慢查询日志保存的地方和对应的文件名。
long_query_time:指定SQL语句执行时间超过多少秒时记录慢查询日志。
log_output:File:表示将日志存入文件,默认值是’FILE’;Table:表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。
经验之谈:当记录到数据表中时,则数据表中记录的慢查询时间只能精确到秒;如果是记录到日志文件中,则日志文件中记录的慢查询时间能够精确到微秒。
建议在实际工作中,将慢查询日志记录到文件中。

重点:配置完成后,要重启mysql服务器!配置才会生效!

windows实战

默认该文件的位置是“C:\ProgramData\MySQL\MySQL Server **\Data\my.ini”。

找到文件:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_03


修改my.ini配置:

# General and Slow logging.
slow_query_log=1
slow_query_log_file="d:/build/mysql/slow_statement.log"
long_query_time=10
log_output=FILE

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_04

保存配置后,重启mysql服务。

使用管理员权限打开cmd,在cmd输入以下命令,然后回车:

net stop mysql57

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_05


注:不同的mysql版本,服务名可能不一样,可以去服务里找对应的服务名

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_06


重启mysql服务。

net start mysql57

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_07

查看配置是否生效:

show variables like '%slow_query_log%'; 
show variables like '%long_query_time%'; 
show variables like '%log_output%';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_08


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_09


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_10

slow_query_log 一直为off,没生效

咦,就slow_query_log 参数没有生效,检查了参数名,没有写错,那会是什么原因呢?

虚竹哥查了下资料,发现在linux下:slow_query_log_file所在的目录需要MySQL的运行帐号的可写权限,如需变更日志文件目录记得给新目录授予777权限,否则slow_query_log一直为OFF

从这个思路扩展一下,会不会mysql也不会帮忙创建不存在的目录。

slow_query_log_file="d:/build/mysql/slow_statement.log"

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_11


果然没有帮忙创建目录。尝试把目录补上去,再重启下服务试试:

果然生效了

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_12

慢查询日志文件也生成出来了

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_13


画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!

画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!

画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!

验证

执行sql语句,触发慢查询机制:

SELECT BENCHMARK(99999999, MD5('mysql'));

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_14


查看日志内容,如图,已经记录成功:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_15

linux实战

先创建慢查询日志的存放目录:

mkdir /usr/local/mysql/data/query_log

给目录读写权限

chmod 777 query_log/

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_16

默认该文件的位置是“/etc/mysql/my.cnf”。

虚竹哥自定义my.cnf的位置:/etc/my.cnf

SQL快速入门-安装MYSQL环境(多环境企业级指导) 找到文件:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_17

修改my.cnf配置:

slow_query_log = 1
slow_query_log_file = /usr/local/mysql/data/query_log/slow_statement.log
long_query_time = 10
log_output = FILE

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_18


保存配置后,重启mysql服务。

查看下mysql服务状态:

systemctl status mysqld

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_19


服务是开启的,先关闭,再启动 。

systemctl stop mysqld

systemctl start mysqld

再查看下mysql服务状态:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_20


查看配置是否生效:

show variables like ‘%slow_query_log%’;
show variables like ‘%long_query_time%’;
show variables like ‘%log_output%’;

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_21


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_22


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_23


慢查询日志文件也生成出来了

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_24


画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!
画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!
画重点:slow_query_log_file指定的文件目录一定要存在的!如果不存在,要手动先创建目录,再重启服务!

验证

执行sql语句,触发慢查询机制:

SELECT BENCHMARK(99999999, MD5('mysql'));

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_25

查看日志内容,如图,已经记录成功:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_26

第二种方式

在MySQL命令行中执行命令开启慢查询日志:

SET GLOBAL slow_query_log = 1;
SET GLOBAL slow_query_log_file = '/data/mysql/log/query_log/slow_statement.log';
SET GLOBAL long_query_time = 10;
SET GLOBAL log_output = 'FILE';

重点:这种方式不需要重启mysql服务。MySQL重启后会失效。

这种方式不用区分什么操作系统

实操

先查看下慢查询日志的相关参数

show variables like '%slow_query_log%'; 
show variables like '%long_query_time%'; 
show variables like '%log_output%';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_27


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_28


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_29


我们看到slow_query_log 参数值为OFF,说明慢查询日志未开启。

在MySQL命令行中执行命令开启慢查询日志,其他参数就不设置了,第一种方式有配置了:

SET GLOBAL slow_query_log = 1;

再看下慢查询日志的相关参数,已经开启

show variables like '%slow_query_log%';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_30

同时也生成了慢查询日志文件:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_31

验证

执行sql语句,触发慢查询机制:

SELECT BENCHMARK(99999999, MD5('mysql'));

查看日志内容,如图,已经记录成功:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_32

关闭慢查询日志

关闭慢查询日志,只需要在my.cnf文件或者my.ini文件中配置slow_query_log=0或者直接删除此选项即可。

第一种方式
windows实战

修改my.ini配置:

# General and Slow logging.
slow_query_log=0

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_33

保存配置后,重启mysql服务。

使用管理员权限打开cmd,在cmd输入以下命令,然后回车:

net stop mysql57

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_05


注:不同的mysql版本,服务名可能不一样,可以去服务里找对应的服务名

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_06


重启mysql服务。

net start mysql57

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_07

手动把之前的慢查询日志先删除:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_37


查看配置是否生效:

show variables like '%slow_query_log%';

配置生效:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_38

验证

执行sql语句,看是否还会触发慢查询机制:

SELECT BENCHMARK(99999999, MD5('mysql'));

结果关闭慢查询日志成功:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_39

linux实战

修改my.cnf配置:

slow_query_log=0

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_40


保存配置后,重启mysql服务。

查看下mysql服务状态:

systemctl status mysqld

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_19


服务是开启的,先关闭,再启动 。

systemctl stop mysqld

systemctl start mysqld

再查看下mysql服务状态:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_20


手动把之前的慢查询日志先删除:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_43

查看配置是否生效:

show variables like '%slow_query_log%';

配置生效:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_44

验证

执行sql语句,看是否还会触发慢查询机制:

SELECT BENCHMARK(99999999, MD5('mysql'));

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_45


结果关闭慢查询日志成功:

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_46

第二种方式

在MySQL命令行中执行命令关闭慢查询日志:

SET GLOBAL slow_query_log = 0;

慢查询阀值是10s,改为1s.

set global long_query_time= 1;

修改之后,建议重新开一个会话查询(旧会话查询出的值可能是原来的10s)
重点:这种方式不需要重启mysql服务。MySQL重启后会失效。

扩展

慢查询日志失效原因一:在线动态设置long_query_time,对当前已建立的连接不会生效

查看慢查询日志是否有开启

show variables like '%slow_query_log%'; 
show variables like '%long_query_time%';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_47


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_48

是已经开启的。如果没有开启,请按上文介绍的方式操作,这里不再赘述。
慢查询阀值是10s,改为1s.

SET GLOBAL long_query_time = 1;

修改之后,建议重新开一个会话查询(旧会话查询出的值可能是原来的10s)

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_49

慢查询日志失效原因二:未使用索引的 SQL 记录不会写入慢查询日志

查看设置,默认是关闭的。

show variables like 'log_queries_not_using_indexes';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_50


查看慢查询日志是否有开启

show variables like '%slow_query_log%'; 
show variables like '%long_query_time%';

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_47


MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_52

是已经开启的。如果没有开启,请按上文介绍的方式操作,这里不再赘述。

测试sql
检查student 表的索引:

show index from student;

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_重启_53


执行没有使用索引的sql:

select *
from student
where student_name ='student_name446741'

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_android_54

慢查询日志中,并没有记录到。

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_55


设置没使用索引的 SQL 记录写入慢查询日志:

set global log_queries_not_using_indexes=on;

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_慢查询_56


再执行慢查询的sql

select *
from student
where student_name ='student_name446741'

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_57


没有索引的数据也添加到慢查询日志了。

注:log_queries_not_using_indexes参数要跟参数log_throttle_queries_not_using_indexes配合使用

log_throttle_queries_not_using_indexes:该参数决定每分钟记录未使用索引的SQL的数量上限,因为未使用索引的SQL可能会非常多,导致慢日志空间增长飞快。

慢查询日志失效原因三:慢sql里有锁等待

慢SQL里有大量锁等待,慢SQL的执行时间不包含锁等待的时间

慢查询日志失效原因四:默认不记录管理类命令的慢sql

log_slow_admin_statements=0,因此alter, create index, analyze table等操作即使超过 long_query_time,也不会记录到慢日志中。

log_slow_admin_statements 该参数决定是否记录管理类的命令,有 ALTER TABLE,ANALYZE TABLE, CHECK TABLE, CREATE INDEX, DROP INDEX, OPTIMIZE TABLE,REPAIR TABLE,默认是不记录这一类语句到慢日志。

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_adb_58

慢查询日志失效原因五:min_examined_row_limit为非0

min_examined_row_limit 该参数定义一个SQL所读取的数据行数;

min_examined_row_limit设置为非0值,SQL检查行数未超过该值,也不会记录。

默认值为0

MYSQL进阶-查询优化-你知道的慢查询日志和你不知道的慢查询日志_mysql_59

慢查询日志失效原因六:slow log文件句柄发生了变化

slow log文件钻句柄发生了变化,如运行期间用vim打开log,最后又保存退出,此时文件句柄发生变化,需要执行flush slow logs。

慢查询日志失效原因七:从库的复制语句默认不记录

log_slow_slave_statements:该参数在从库上设置,决定是否记录在复制过程中超过long_query_time的SQL,如果binlog格式是row,则即使开启了该参数,也不会记录相关SQL。
除非binlog格式是statement且开启log_slow_slave_statements。

三、总结

本文介绍了慢查询日志在windows环境和Linux环境如何开启和关闭,开启和关闭分别介绍了两种方式来操作,一种是通过修改配置,重启服务生效;另一种是通过命令快速生效,但MySQL重启后会失效。
可以根据实际的业务场景进行选择。
额外补充了慢查询日志的七个失效原因,都是从实战中摸索出来的宝贵经验。
所以,嗯,这题的答案选。。评论区大声告诉虚竹哥。

四、参考

MySQL进阶技能树–>慢查询日志

我是虚竹哥,我们明天见~


好博客就要一起分享哦!分享海报

此处可发布评论

评论(0展开评论

暂无评论,快来写一下吧

展开评论

您可能感兴趣的博客

客服QQ 1913284695