MySQL Rewriter Query Rewrite Plugin

从MySQL 5.7.6开始，MySQL服务器支持查询重写插件它可以在服务器执行语句之前可以检查和可能修改接收到的语句。MySQL包含一个名为Rewriter的查询重写插件和安装插件与它相关组件的脚本。这些组件一起工作提供对select的重写能力:
.服务端插件名为Rewriter检查select语句并且可能基于缓存在内存中的重写规则来重写它们。标准select语句和预备语句中的select语句可能经受重写。出现在视图定义中或存储过程中的select语句不会经受重写。

.Rewriter插件使用一个包含rewrite_rules表的query_rewrite数据库。表提供了对规则的永久存储，插件使用它来决赛是否重写语句。通过存储在表中的规则集让用户与插件通信。通过设置表中记录的message列来让用户与插件通信。

.query_rewrite数据库包含一个名为flush_rewrite_rules()的存储过程用来把规则表中的内容加载到插件中。

.用户定义函数load_rewrite_rules()被flush_rewrite_rules()存储过程来调用。

.Rewriter插件显示了系统变量能让插件配置和状态变量来提供运行时操作信息。

下面将描述如何安装与使用Rewriter插件并提供与它相关组件的信息。

安装或卸载Rewriter查询重写插件
为了安装或卸载Rewriter查询重写插件，在MySQL安装目录下的share目录中选择执行合适的脚本:
.install_rewriter.sql: 使用这个脚本来安装Rewriter插件和它相关的组件。
.uninstall_rewriter.sql:使用这个脚本来卸载Rewriter插件和它相关的组件。

运行安装脚本

[mysql@localhost share]$ mysql -uroot -p < install_rewriter.sql
Enter password:

运行安装脚本将会安装与启用插件。为了验证它，连接到数据库执行以下语句:

mysql> show databases;
±-------------------+
| Database |
±-------------------+
| information_schema |
| binlog |
| mysql |
| performance_schema |
| query_rewrite |
| sys |
±-------------------+
6 rows in set (0.00 sec)

mysql> show global variables like ‘rewriter_enabled’;
±-----------------±------+
| Variable_name | Value |
±-----------------±------+
| rewriter_enabled | ON |
±-----------------±------+
1 row in set (0.00 sec)

使用Rewriter查询重写插件
为了启用或禁用Rewriter查询重写插件可以通过启用或禁用rewriter_enabled系统变量来完成。默认情况是当你安装Rewriter查询重写插件时是启用的。为了显式设置初始化Rewriter查询重写插件的状态，可以在服务器启动时设置rewriter_enabled变量。例如为了在选项文件中启用Rewriter插件可以进行以下设置:
[mysqld]
rewriter_enabled=ON

也可以在运行时启用或禁用Rewriter插件:

mysql> set global rewriter_enabled=OFF;
Query OK, 0 rows affected (0.00 sec)

mysql> show global variables like ‘rewriter_enabled’;
±-----------------±------+
| Variable_name | Value |
±-----------------±------+
| rewriter_enabled | OFF |
±-----------------±------+
1 row in set (0.00 sec)

mysql> set global rewriter_enabled=ON;
Query OK, 0 rows affected (0.00 sec)

mysql> show global variables like ‘rewriter_enabled’;
±-----------------±------+
| Variable_name | Value |
±-----------------±------+
| rewriter_enabled | ON |
±-----------------±------+
1 row in set (0.01 sec)

mysql> desc query_rewrite.rewrite_rules;
±-------------------±-----------------±-----±----±--------±---------------+
| Field | Type | Null | Key | Default | Extra |
±-------------------±-----------------±-----±----±--------±---------------+
| id | int(11) | NO | PRI | NULL | auto_increment |
| pattern | varchar(10000) | NO | | NULL | |
| pattern_database | varchar(20) | YES | | NULL | |
| replacement | varchar(10000) | NO | | NULL | |
| enabled | enum(‘YES’,‘NO’) | NO | | YES | |
| message | varchar(1000) | YES | | NULL | |
| pattern_digest | varchar(32) | YES | | NULL | |
| normalized_pattern | varchar(100) | YES | | NULL | |
±-------------------±-----------------±-----±----±--------±---------------+
8 rows in set (0.00 sec)

mysql> select * from query_rewrite.rewrite_rules;
Empty set (0.00 sec)

假设Rewriter插件被启用，它将检查和可能修改由服务器所接收到的每个select语句。插件将基于内存中缓存的重写规则(从query_rewriter数据库的rewrite_rules表中加载的)来决定是否重写语句。

添加重写规则
为了向Rewriter插件添加规则，向rewrite_rules表中添加记录，然后调用flush_rewrite_rules()存储过程来从表中加载规则到插件中。下面的例子来创建一个简单规则来匹配单个文本值的查询语句。

mysql> insert into query_rewrite.rewrite_rules(pattern,replacement) values(‘select ?’,‘select ?+1’);
Query OK, 1 row affected (0.03 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from query_rewrite.rewrite_rules;
±—±---------±-----------------±------------±--------±--------±---------------±-------------------+
| id | pattern | pattern_database | replacement | enabled | message | pattern_digest | normalized_pattern |
±—±---------±-----------------±------------±--------±--------±---------------±-------------------+
| 1 | select ? | NULL | select ?+1 | YES | NULL | NULL | NULL |
±—±---------±-----------------±------------±--------±--------±---------------±-------------------+
1 row in set (0.00 sec)

mysql> select * from query_rewrite.rewrite_rules\G;
*************************** 1. row ***************************
id: 1
pattern: select ?
pattern_database: NULL
replacement: select ?+1
enabled: YES
message: NULL
pattern_digest: NULL
normalized_pattern: NULL
1 row in set (0.00 sec)

规则指定一种模式模板指示那种查询语句会被匹配，并且替换模板指示了如何重写匹配的语句。然而添加规则到rewrite_rules表中不足以造成Rewriter插件使用这个规则。我们必须要调用flush_rewrite_rules()过程来将规则表的内容加载到插件内存缓存中:

mysql> call query_rewrite.flush_rewrite_rules();
Query OK, 0 rows affected, 1 warning (0.04 sec)

当插件从规则表中读取每种规则时，它将计算一个标准化(语句摘要)格式的模式和一个摘要哈希值并使用它们来更新normalized_pattern和pattern_digest列:

mysql> select * from query_rewrite.rewrite_rules\G;
*************************** 1. row ***************************
id: 1
pattern: select ?
pattern_database: NULL
replacement: select ?+1
enabled: YES
message: NULL
pattern_digest: 3d4fc22e33e10d7235eced3c75a84c2c
normalized_pattern: select ?
1 row in set (0.00 sec)

模式使用与预备语句相同的语法。使用模式模板，?字符实际上作为参数标记用来匹配数据值。参数标记只能用于应该出现数据值的地方，而不能用于SQL关键字、标识符等.?字符不应该使用引号括起来。

像模式一样，替换可以包含?字符。对于匹配一种模式模板的语句，重写插件将重写它，通过模式中的相关标记所匹配的数据值来替换?字符标记。替换的结果是一种完整的语句字符。重写插件要求服务器解析它并执行重写之后的语句将结果返回。

在添加和加载重写规则后，检查匹配规则模式的语句是否会被重写:

mysql> select pi();
±---------+
| pi() |
±---------+
| 3.141593 |
±---------+
1 row in set (0.02 sec)

mysql> select 10;
±-----+
| 10+1 |
±-----+
| 11 |
±-----+
1 row in set, 1 warning (0.00 sec)

从上面的执行结果来看，第一个查询语句没有出现重写，但第二个查询被重写了。因为第二个查询语句Rewriter插件重写语句后生成了一个警告信息。为了查看这个警告信息可以使用show warnings:

mysql> show warnings\g
±------±-----±-----------------------------------------------------------------------+
| Level | Code | Message |
±------±-----±-----------------------------------------------------------------------+
| Note | 1105 | Query ‘select 10’ rewritten to ‘select 10+1’ by a query rewrite plugin |
±------±-----±-----------------------------------------------------------------------+
1 row in set (0.00 sec)

为了启用或禁用现有的规则，可以通过修改enabled列并重新加载规则表到重写插件。

为了禁用规则1

mysql> update query_rewrite.rewrite_rules set enabled=‘NO’ where id=1;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> call query_rewrite.flush_rewrite_rules();
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> select * from query_rewrite.rewrite_rules\G;
*************************** 1. row ***************************
id: 1
pattern: select ?
pattern_database: NULL
replacement: select ?+1
enabled: NO
message: NULL
pattern_digest: 3d4fc22e33e10d7235eced3c75a84c2c
normalized_pattern: select ?
1 row in set (0.00 sec)

mysql> select 10;
±—+
| 10 |
±—+
| 10 |
±—+
1 row in set (0.00 sec)

这就可以不同从表中删除重写规则来禁用重写规则。

为了重新启用重写规则1:

mysql> update query_rewrite.rewrite_rules set enabled=‘YES’ where id=1;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> call query_rewrite.flush_rewrite_rules();
Query OK, 0 rows affected (0.02 sec)

mysql> select * from query_rewrite.rewrite_rules\G;
*************************** 1. row ***************************
id: 1
pattern: select ?
pattern_database: NULL
replacement: select ?+1
enabled: YES
message: NULL
pattern_digest: 3d4fc22e33e10d7235eced3c75a84c2c
normalized_pattern: select ?
1 row in set (0.00 sec)

mysql> select 10;
±-----+
| 10+1 |
±-----+
| 11 |
±-----+
1 row in set, 1 warning (0.00 sec)

rewrite_rules表包含了一个pattern_database列它是Rewriter用来匹配没有使用数据库名限定的表名:
.如果相关的数据库和表名相同，语句中限定表名匹配模式中的限定名。
.只有默认数据库与pattern_database一样并且表名相同时语句中的非限定表名匹配模式中的非限定名

假设表mysql.cs有一个名为id的列并且应用程序从以下形式的查询中选择一个来从表中查询记录，这里第二个查询只能在默认数据库为mysql的情况下被执行:
select * from mysql.cs where id=id_value;
select * from cs where id=id_value;

现在假设id列被重命名为user_id了。这种修改意味着应用程序必须引用user_id而不是id。但是如果旧的应用程序不能进行修改，那么它们将不能工作了。Rewriter重写插件可以解决这个问题。为了匹配和重写那些不管是否有限定名的查询语句，添加以下两个规则并重新加载规则表:

mysql> select * from cs where mysql.id=1;
ERROR 1054 (42S22): Unknown column ‘mysql.id’ in ‘where clause’
mysql> insert into query_rewrite.rewrite_rules(pattern,replacement)
-> values(‘select * from mysql.cs where id= ?’,‘select * from mysql.cs where user_id= ?’);
Query OK, 1 row affected (0.05 sec)

mysql> insert into query_rewrite.rewrite_rules(pattern,replacement,pattern_database)
-> values(‘select * from cs where id=?’,‘select * from cs where user_id=?’,‘mysql’);
Query OK, 1 row affected (0.05 sec)

mysql> call query_rewrite.flush_rewrite_rules();
Query OK, 0 rows affected, 1 warning (0.02 sec)

mysql> select * from query_rewrite.rewrite_rules\G;
*************************** 1. row ***************************
id: 1
pattern: select ?
pattern_database: NULL
replacement: select ?+1
enabled: YES
message: NULL
pattern_digest: 3d4fc22e33e10d7235eced3c75a84c2c
normalized_pattern: select ?
*************************** 2. row ***************************
id: 2
pattern: select * from mysql.cs where id= ?
pattern_database: NULL
replacement: select * from mysql.cs where user_id= ?
enabled: YES
message: NULL
pattern_digest: 45281da14b71c1357dd053a4fe49dfac
normalized_pattern: select * from mysql.cs where (id = ?)
*************************** 3. row ***************************
id: 3
pattern: select * from cs where id=?
pattern_database: mysql
replacement: select * from cs where user_id=?
enabled: YES
message: NULL
pattern_digest: 0da2491bc4c0e1462cc020e4fcfde16b
normalized_pattern: select * from mysql.cs where (id = ?)
3 rows in set (0.00 sec)

mysql> select * from mysql.cs where id=1;
±-----±-----±--------+
| id | name | user_id |
±-----±-----±--------+
| 1 | jy | 1 |
±-----±-----±--------+
1 row in set, 1 warning (0.00 sec)

mysql> show warnings;
±------±-----±---------------------------------------------------------------------------------------------------------------------------+
| Level | Code | Message |
±------±-----±---------------------------------------------------------------------------------------------------------------------------+
| Note | 1105 | Query ‘select * from mysql.cs where id=1’ rewritten to ‘select * from mysql.cs where user_id= 1’ by a query rewrite plugin |
±------±-----±---------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> select * from cs where id=1;
±-----±-----±--------+
| id | name | user_id |
±-----±-----±--------+
| 1 | jy | 1 |
±-----±-----±--------+
1 row in set, 1 warning (0.00 sec)

mysql> show warnings;
±------±-----±--------------------------------------------------------------------------------------------------------------+
| Level | Code | Message |
±------±-----±--------------------------------------------------------------------------------------------------------------+
| Note | 1105 | Query ‘select * from cs where id=1’ rewritten to ‘select * from cs where user_id=1’ by a query rewrite plugin |
±------±-----±--------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

Rewriter插件使用第一个规则匹配有限定名的查询，使用第二个规则匹配没有限定名，但默认数据库必须为mysql才能进行查询重写。

如何进行模式匹配
Rewriter插件使用语句摘要和摘要哈希值来使用重写规则匹配输入语句。max_digest_length系统变量决定了用于计算语句摘要的buffer大小。值越大计算的摘要越能区分更长的语句。值越小使用的内存越小但增加了更长语句使用相同摘要的可能性。

mysql> show global variables like ‘max_digest_length’;
±------------------±------+
| Variable_name | Value |
±------------------±------+
| max_digest_length | 1024 |
±------------------±------+
1 row in set (0.00 sec)

插件匹配语句进行重写的规则如下:
1.计算语句摘要的哈希值并将它与规则摘要哈希值进行比较。这可能会出现误报，但可以作为快速的拒绝测试

2.如果语句摘要哈希值匹配任何一个模式摘要哈希值，则匹配规范化哈希值(语句摘要)将语句的形式转化为匹配规则模式所规范化的形式。

3.如果规范化语句与规则匹配，请比较语句和模式中的文字值。模式中的一个?号值与语句中的任何文字值匹配。如果语句准备了一个SELECT语句，模式中的?也匹配语句中的?。否则，对应的文字必须相同。

如果多个规则匹配一个语句，则不确定插件使用哪个规则来重写该语句。

如果一个模式包含比替换更多的标记，那么插件将丢弃多余的数据值。如果一个模式包含的标记比替换的少，这就是一个错误。当加载规则表时，插件会注意到这一点，它会向规则行的message列写入一条错误消息来传递问题，并将Rewriter_reload_error状态变量设置为ON。

重写预备语句
预备语句是在解析时被重写，而不是在执行时被重写。预备语句与非预备语句的区别在于它们可能包含?字符作为参数标记。为了匹配预备语句中的?字符，重写模式必须在同一个地方包含?字符。假设重写规则具有这种模式
select ?, 3
下面列出了几种预备语句和是否与它匹配的模式
预备语句                                模式是否匹配语句
prepare s as ‘select 3, 3’     Yes
prepare s as ‘select ?, 3’     Yes
prepare s as ‘select 3, ?’     No
prepare s as ‘select ?, ?’     No

Rewriter插件操作信息
Rewriter插件通过几种状态变量来表示它的操作信息:

mysql> show global status like ‘Rewriter%’;
±----------------------------------±------+
| Variable_name | Value |
±----------------------------------±------+
| Rewriter_number_loaded_rules | 3 |
| Rewriter_number_reloads | 5 |
| Rewriter_number_rewritten_queries | 5 |
| Rewriter_reload_error | OFF |
±----------------------------------±------+
4 rows in set (0.01 sec)