目录
- mysql 8中的隐藏、降序、函数索引
- 一、隐藏索引
- 1.隐藏索引概述
- 2.隐藏索引操作
- 二、降序索引
- 1.降序索引概述
- 2.降序索引操作
- 三、函数索引
- 1.函数索引概述
- 2.函数索引操作
mysql 8中的隐藏、降序、函数索引
一、隐藏索引
1.隐藏索引概述
- mysql 8.0开始支持隐藏索引(invisible index),不可见索引。
- 隐藏索引不会被优化器使用,但仍然需要进行维护。
- 应用场景:软删除、灰度发布。
在之前mysql的版本中,只能通过显式的方式删除索引,如果删除后发现索引删错了,又只能通过创建索引的方式将删除的索引添加回来,如果数据库中的数据量非常大,或者表比较大,这种操作的成本非常高。
在mysql 8.0中,只需要将这个索引先设置为隐藏索引,使查询优化器不再使用这个索引,但是,此时这个索引还是需要mysql后台进行维护,当确认将这个索引设置为隐藏索引系统不会受到影响时,再将索引彻底删除。这就是软删除功能。
灰度发布,就是说创建索引时,首先将索引设置为隐藏索引,通过修改查询优化器的开关,使隐藏索引对查询优化器可见,通过explain对索引进行测试,确认这个索引有效,某些查询可以使用到这个索引,就可以将其设置为可见索引,完成灰度发布的效果。
2.隐藏索引操作
(1)登录mysql,创建testdb数据库,并在数据库中创建一张测试表t1
mysql> create database if not exists testdb; query ok, 1 row affected (0.58 sec) mysql> use testdb; database changed mysql> create table if not exists t1(i int, j int); query ok, 0 rows affected (0.05 sec)
(2)在字段i上创建索引,如下所示。
mysql> create index i_idx on t1(i); query ok, 0 rows affected (0.34 sec) records: 0 duplicates: 0 warnings: 0
(3)在字段j上创建隐藏索引,创建隐藏索引时,只需要在创建索引的语句后面加上invisible关键字,如下所示
mysql> create index j_idx on t1(j) invisible; query ok, 0 rows affected (0.01 sec) records: 0 duplicates: 0 warnings: 0
(4)查看t1表中的索引情况,如下所示
mysql> show index from t1 \g *************************** 1. row *************************** table: t1 non_unique: 1 key_name: i_idx seq_in_index: 1 column_name: i collation: a cardinality: 0 sub_part: null packed: null null: yes index_type: btree comment: index_comment: visible: yes expression: null *************************** 2. row *************************** table: t1 non_unique: 1 key_name: j_idx seq_in_index: 1 column_name: j collation: a cardinality: 0 sub_part: null packed: null null: yes index_type: btree comment: index_comment: visible: no expression: null 2 rows in set (0.02 sec)
可以看到t1表中有两个索引,一个是i_idx,一个是j_idx,i_idx的visible属性为yes,表示这个索引可见; j_idx的visibles属性为no,表示这个索引不可见。
(5)查看查询优化器对这两个索引的使用情况。
首先,使用字段i进行查询,如下所示。
mysql> explain select * from t1 where i = 1 \g *************************** 1. row *************************** id: 1 select_type: simple table: t1 partitions: null type: ref possible_keys: i_idx key: i_idx key_len: 5 ref: const rows: 1 filtered: 100.00 extra: null 1 row in set, 1 warning (0.02 sec)
可以看到,查询优化器会使用i字段的索引进行优化。
接下来,使用字段j进行查询,如下所示。
mysql> explain select * from t1 where j = 1 \g *************************** 1. row *************************** id: 1 select_type: simple table: t1 partitions: null type: all possible_keys: null key: null key_len: null ref: null rows: 1 filtered: 100.00 extra: using where 1 row in set, 1 warning (0.00 sec)
可以看到,查询优化器并没有使用j字段上的隐藏索引,会使用全表扫描的方式查询数据。
(6)使隐藏索引对优化器可见
在mysql 8.x 中提供了一种新的测试方式,可以通过优化器的一个开关来打开某个设置,使隐藏索引对查询优化器可见。
查看查询优化器的开关,如下所示。
mysql> select @@optimizer_switch \g *************************** 1. row *************************** @@optimizer_switch: index_merge=on,index_merge_union=on,index_merge_sort_union=on,index_merge_intersection=on,engine_condition_pushdown=on,index_condition_pushdown=on,mrr=on,mrr_cost_based=on,block_nested_loop=on,batched_key_access=off,materialization=on,semijoin=on,loosescan=on,firstmatch=on,duplicateweedout=on,subquery_materialization_cost_based=on,use_index_extensions=on,condition_fanout_filter=on,derived_merge=on,use_invisible_indexes=off,skip_scan=on,hash_join=on 1 row in set (0.00 sec)
这里,可以看到如下一个属性值:
use_invisible_indexes=off
表示优化器是否使用不可见索引,默认为off不使用。
接下来,在mysql的会话级别使查询优化器使用不可见索引,如下所示。
mysql> set session optimizer_switch="use_invisible_indexes=on"; query ok, 0 rows affected (0.00 sec)
接下来,再次查看查询优化器的开关设置,如下所示
mysql> select @@optimizer_switch \g *************************** 1. row *************************** @@optimizer_switch: index_merge=on,index_merge_union=on,index_merge_sort_union=on,index_merge_intersection=on,engine_condition_pushdown=on,index_condition_pushdown=on,mrr=on,mrr_cost_based=on,block_nested_loop=on,batched_key_access=off,materialization=on,semijoin=on,loosescan=on,firstmatch=on,duplicateweedout=on,subquery_materialization_cost_based=on,use_index_extensions=on,condition_fanout_filter=on,derived_merge=on,use_invisible_indexes=on,skip_scan=on,hash_join=on 1 row in set (0.00 sec)
此时,可以看到use_invisible_indexes=on,说明隐藏索引对查询优化器可见了。
再次分析使用t1表的j字段查询数据,如下所示。
mysql> explain select * from t1 where j = 1 \g *************************** 1. row *************************** id: 1 select_type: simple table: t1 partitions: null type: ref possible_keys: j_idx key: j_idx key_len: 5 ref: const rows: 1 filtered: 100.00 extra: null 1 row in set, 1 warning (0.00 sec)
可以看到,此时查询优化器使用j字段上的隐藏索引来优化查询了。
(7)设置索引的可见与不可见
将字段j上的隐藏索引设置为可见,如下所示。
mysql> alter table t1 alter index j_idx visible; query ok, 0 rows affected (0.01 sec) records: 0 duplicates: 0 warnings: 0
将字段j上的索引设置为不可见,如下所示。
mysql> alter table t1 alter index j_idx invisible; query ok, 0 rows affected (0.01 sec) records: 0 duplicates: 0 warnings: 0
(8)mysql中主键不能设置为不可见索引
值得注意的是:在mysql中,主键是不可以设置为不可见的。
在testdb数据库中创建一张测试表t2,如下所示。
mysql> create table t2(i int not null); query ok, 0 rows affected (0.01 sec)
接下来,在t2表中创建一个不可见主键,如下所示
mysql> alter table t2 add primary key pk_t2(i) invisible; error 3522 (hy000): a primary key index cannot be invisible
可以看到,此时sql语句报错,主键不能被设置为不可见索引。
二、降序索引
1.降序索引概述
- mysql 8.0开始真正支持降序索引(descending index)。
- 只有innodb存储引擎支持降序索引,只支持btree降序索引。
- mysql 8.0不再对group by操作进行隐式排序
2.降序索引操作
(1)mysql 5.7中支持的语法
首先,在mysql 5.7中创建测试数据库testdb,在数据库testdb中创建测试表t2,如下所示。
mysql> create database if not exists testdb; query ok, 0 rows affected (0.71 sec) mysql> use testdb; database changed mysql> create table if not exists t2(c1 int, c2 int, index idx1(c1 asc, c2 desc)); query ok, 0 rows affected (0.71 sec)
其中,在t2表中创建了名为idx1的索引,索引中c1字段升序排序,c2字段降序排序。
接下来,查看t2表的创建信息,如下所示
mysql> show create table t2 \g *************************** 1. row *************************** table: t2 create table: create table `t2` ( `c1` int(11) default null, `c2` int(11) default null, key `idx1` (`c1`,`c2`) ) engine=innodb default charset=utf8mb4 1 row in set (0.16 sec)
可以看到,mysql 5.7版本在创建表的信息中,没有字段c1和c2的排序信息,默认都是升序。
(2)mysql 8.0中支持的语法
在mysql 8.x中同样创建t2表,如下所示
mysql> create table if not exists t2(c1 int, c2 int, index idx1(c1 asc, c2 desc)); query ok, 0 rows affected, 1 warning (0.00 sec)
接下来,查看t2表的创建信息,如下所示
mysql> show create table t2 \g *************************** 1. row *************************** table: t2 create table: create table `t2` ( `c1` int(11) default null, `c2` int(11) default null, key `idx1` (`c1`,`c2` desc) ) engine=innodb default charset=utf8mb4 collate=utf8mb4_0900_ai_ci 1 row in set (0.00 sec)
可以看到,在mysql 8.x中,创建的索引中存在字段的排序信息。
(3)mysql 5.7中查询优化器对索引的使用情况
首先,在表t2中插入一些数据,如下所示。
mysql> insert into t2(c1, c2) values(1, 100), (2, 200), (3, 150), (4, 50); query ok, 4 rows affected (0.19 sec) records: 4 duplicates: 0 warnings: 0
接下来,查询t2表中的数据,如下所示。
mysql> select * from t2; +------+------+ | c1 | c2 | +------+------+ | 1 | 100 | | 2 | 200 | | 3 | 150 | | 4 | 50 | +------+------+ 4 rows in set (0.00 sec)
可以看到,t2表中的数据插入成功。
接下来,查看查询优化器对索引的使用情况,这里,查询语句按照c1字段升序,按照c2字段降序,如下所示。
mysql> explain select * from t2 order by c1, c2 desc \g *************************** 1. row *************************** id: 1 select_type: simple table: t2 partitions: null type: index possible_keys: null key: idx1 key_len: 10 ref: null rows: 4 filtered: 100.00 extra: using index; using filesort 1 row in set, 1 warning (0.12 sec)
可以看到,在mysql 5.7中,按照c2字段进行降序排序,并没有使用索引。
(4)mysql 8.x中查询优化器对降序索引的使用情况。
查看查询优化器对降序索引的使用情况。
首先,在表t2中插入一些数据,如下所示。
mysql> insert into t2(c1, c2) values(1, 100), (2, 200), (3, 150), (4, 50); query ok, 4 rows affected (0.00 sec) records: 4 duplicates: 0 warnings: 0
接下来,查询t2表中的数据,如下所示。
mysql> select * from t2; +------+------+ | c1 | c2 | +------+------+ | 1 | 100 | | 2 | 200 | | 3 | 150 | | 4 | 50 | +------+------+ 4 rows in set (0.00 sec)
可以看到,t2表中的数据插入成功。
在mysql中如果创建的是升序索引,则指定查询的时候,只能按照升序索引的方式指定查询,这样才能使用升序索引。
接下来,查看查询优化器对索引的使用情况,这里,查询语句按照c1字段升序,按照c2字段降序,如下所示。
mysql> explain select * from t2 order by c1, c2 desc \g *************************** 1. row *************************** id: 1 select_type: simple table: t2 partitions: null type: index possible_keys: null key: idx1 key_len: 10 ref: null rows: 4 filtered: 100.00 extra: using index 1 row in set, 1 warning (0.00 sec)
可以看到,在mysql 8.x中,按照c2字段进行降序排序,使用了索引。
使用c1字段降序,c2字段升序排序,如下所示。
mysql> explain select * from t2 order by c1 desc, c2 \g *************************** 1. row *************************** id: 1 select_type: simple table: t2 partitions: null type: index possible_keys: null key: idx1 key_len: 10 ref: null rows: 4 filtered: 100.00 extra: backward index scan; using index 1 row in set, 1 warning (0.00 sec)
可以看到,在mysql 8.x中仍然可以使用索引,并使用了索引的反向扫描。
(5)mysql 8.x中不再对group by进行隐式排序
在mysql 5.7中执行如下命令,按照c2字段进行分组,查询每组中数据的记录条数。
mysql> select count(*), c2 from t2 group by c2; +----------+------+ | count(*) | c2 | +----------+------+ | 1 | 50 | | 1 | 100 | | 1 | 150 | | 1 | 200 | +----------+------+ 4 rows in set (0.18 sec)
可以看到,在mysql 5.7中,在c2字段上进行了排序操作。
在mysql 8.x中执行如下命令,按照c2字段进行分组,查询每组中数据的记录条数。
mysql> select count(*), c2 from t2 group by c2; +----------+------+ | count(*) | c2 | +----------+------+ | 1 | 100 | | 1 | 200 | | 1 | 150 | | 1 | 50 | +----------+------+ 4 rows in set (0.00 sec)
可以看到,在mysql 8.x中,在c2字段上并没有进行排序操作。
在mysql 8.x中如果需要对c2字段进行排序,则需要使用order by语句明确指定排序规则,如下所示。
mysql> select count(*), c2 from t2 group by c2 order by c2; +----------+------+ | count(*) | c2 | +----------+------+ | 1 | 50 | | 1 | 100 | | 1 | 150 | | 1 | 200 | +----------+------+ 4 rows in set (0.00 sec)
三、函数索引
1.函数索引概述
- mysql 8.0.13开始支持在索引中使用函数(表达式)的值。
- 支持降序索引,支持json数据的索引
- 函数索引基于虚拟列功能实现
2.函数索引操作
(1)创建测试表t3
在testdb数据库中创建一张测试表t3,如下所示。
mysql> create table if not exists t3(c1 varchar(10), c2 varchar(10)); query ok, 0 rows affected (0.01 sec)
(2)创建普通索引
在c1字段上创建普通索引
mysql> create index idx1 on t3(c1); query ok, 0 rows affected (0.01 sec) records: 0 duplicates: 0 warnings: 0
(3)创建函数索引
在c2字段上创建一个将字段值转化为大写的函数索引,如下所示。
mysql> create index func_index on t3 ((upper(c2))); query ok, 0 rows affected (0.02 sec) records: 0 duplicates: 0 warnings: 0
(4)查看t3表上的索引信息,如下所示。
mysql> show index from t3 \g *************************** 1. row *************************** table: t3 non_unique: 1 key_name: idx1 seq_in_index: 1 column_name: c1 collation: a cardinality: 0 sub_part: null packed: null null: yes index_type: btree comment: index_comment: visible: yes expression: null *************************** 2. row *************************** table: t3 non_unique: 1 key_name: func_index seq_in_index: 1 column_name: null collation: a cardinality: 0 sub_part: null packed: null null: yes index_type: btree comment: index_comment: visible: yes expression: upper(`c2`) 2 rows in set (0.01 sec)
(5)查看查询优化器对两个索引的使用情况
首先,查看c1字段的大写值是否等于某个特定的值,如下所示。
mysql> explain select * from t3 where upper(c1) = 'abc' \g *************************** 1. row *************************** id: 1 select_type: simple table: t3 partitions: null type: all possible_keys: null key: null key_len: null ref: null rows: 1 filtered: 100.00 extra: using where 1 row in set, 1 warning (0.00 sec)
可以看到,没有使用索引,进行了全表扫描操作。
接下来,查看c2字段的大写值是否等于某个特定的值,如下所示。
mysql> explain select * from t3 where upper(c2) = 'abc' \g *************************** 1. row *************************** id: 1 select_type: simple table: t3 partitions: null type: ref possible_keys: func_index key: func_index key_len: 43 ref: const rows: 1 filtered: 100.00 extra: null 1 row in set, 1 warning (0.00 sec)
可以看到,使用了函数索引。
(6)函数索引对json数据的索引
首先,创建测试表emp,并对json数据进行索引,如下所示。
mysql> create table if not exists emp(data json, index((cast(data->>'$.name' as char(30))))); query ok, 0 rows affected (0.02 sec)
上述sql语句的解释如下:
- json数据长度不固定,如果直接对json数据进行索引,可能会超出索引长度,通常,会只截取json数据的一部分进行索引。
- cast()类型转换函数,把数据转化为char(30)类型。使用方式为cast(数据 as 数据类型)。
- data ->> ‘$.name’表示json的运算符
简单的理解为,就是取name节点的值,将其转化为char(30)类型。
接下来,查看emp表中的索引情况,如下所示。
mysql> show index from emp \g *************************** 1. row *************************** table: emp non_unique: 1 key_name: functional_index seq_in_index: 1 column_name: null collation: a cardinality: 0 sub_part: null packed: null null: yes index_type: btree comment: index_comment: visible: yes expression: cast(json_unquote(json_extract(`data`,_utf8mb4\'$.name\')) as char(30) charset utf8mb4) 1 row in set (0.00 sec)
(7)函数索引基于虚拟列实现
首先,查看t3表的信息,如下所示。
mysql> desc t3; +-------+-------------+------+-----+---------+-------+ | field | type | null | key | default | extra | +-------+-------------+------+-----+---------+-------+ | c1 | varchar(10) | yes | mul | null | | | c2 | varchar(10) | yes | | null | | +-------+-------------+------+-----+---------+-------+ 2 rows in set (0.00 sec)
在c1上建立了普通索引,在c2上建立了函数索引。
接下来,在t3表中添加一列c3,模拟c2上的函数索引,如下所示。
mysql> alter table t3 add column c3 varchar(10) generated always as (upper(c1)); query ok, 0 rows affected (0.03 sec) records: 0 duplicates: 0 warnings: 0
c3列是一个计算列,c3字段的值总是使用c1字段转化为大写的结果。
接下来,向t3表中插入一条数据,其中,c3列是一个计算列,c3字段的值总是使用c1字段转化为大写的结果,在插入数据的时候,不需要为c3列插入数据,如下所示。
mysql> insert into t3(c1, c2) values ('abc', 'def'); query ok, 1 row affected (0.00 sec)
查询t3表中的数据,如下所示。
mysql> select * from t3; +------+------+------+ | c1 | c2 | c3 | +------+------+------+ | abc | def | abc | +------+------+------+ 1 row in set (0.00 sec)
可以看到,并不需要向c3列中插入数据,c3列的数据为c1字段的大写结果数据。
如果想模拟函数索引的效果,则可以使用如下方式。
首先,在c3列上添加索引,如下所示。
mysql> create index idx3 on t3(c3); query ok, 0 rows affected (0.11 sec) records: 0 duplicates: 0 warnings: 0
接下来,再次查看c1字段的大写值是否等于某个特定的值,如下所示。
mysql> explain select * from t3 where upper(c1) = 'abc' \g *************************** 1. row *************************** id: 1 select_type: simple table: t3 partitions: null type: ref possible_keys: idx3 key: idx3 key_len: 43 ref: const rows: 1 filtered: 100.00 extra: null 1 row in set, 1 warning (0.00 sec)
此时,就使用了idx3索引。
到此这篇关于mysql 8中新增的这三大索引 隐藏、降序、函数的文章就介绍到这了,更多相关mysql 8中的隐藏、降序、函数索引内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!