replace into 浅析
转载自:
http://blog.itpub.net/22664653/viewspace-1669734/
http://blog.itpub.net/22664653/viewspace-1670120/
一 介绍
在笔者支持业务过程中,经常遇到开发咨询replace into 的使用场景以及注意事项,这里做个总结。从功能原理,性能和注意事项上做个说明。
二 原理
2.1 当表中存在主键但是不存在唯一建的时候。
表结构
- CREATE TABLE `yy` (
- `id` bigint(20) NOT NULL,
- `name` varchar(20) DEFAULT NULL,
- PRIMARY KEY (`id`)
- ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
- root@test 02:43:58>insert into yy values(1,\’abc\’);
- Query OK, 1 row affected (0.00 sec)
- root@test 02:44:25>replace into yy values(2,\’bbb\’);
- Query OK, 1 row affected (0.00 sec)
- root@test 02:55:42>select * from yy;
- +—-+——+
- | id | name |
- +—-+——+
- | 1 | abc |
- | 2 | bbb |
- +—-+——+
- 2 rows in set (0.00 sec)
- root@test 02:55:56>replace into yy values(1,\’ccc\’);
- Query OK, 2 rows affected (0.00 sec)
如果本来已经存在的主键值,那么MySQL做update操作。
- ### UPDATE test.yy
- ### WHERE
- ### @1=1 /* LONGINT meta=0 nullable=0 is_null=0 */
- ### @2=\’abc\’ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
- ### SET
- ### @1=1 /* LONGINT meta=0 nullable=0 is_null=0 */
- ### @2=\’ccc\’ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
如果本来相应的主键值没有,那么做insert 操作 replace into yy values(2,\’bbb\’);
- ### INSERT INTO test.yy
- ### SET
- ### @1=2 /* LONGINT meta=0 nullable=0 is_null=0 */
- ### @2=\’bbb\’ /* VARSTRING(60) meta=60 nullable=1 is_null=0 */
- # at 623
- #140314 2:55:42 server id 136403306 end_log_pos 650 Xid = 6090885569
2.2 当表中主键和唯一键同时存在时
- CREATE TABLE `yy` (
- `id` int(11) NOT NULL DEFAULT \\’0\\’,
- `b` int(11) DEFAULT NULL,
- `c` int(11) DEFAULT NULL
- PRIMARY KEY (`a`),
- UNIQUE KEY `uk_bc` (`b`,`c`)
- ) ENGINE=InnoDB DEFAULT CHARSET=utf8
情形1 主键冲突
- root@test 04:37:18>replace into yy values(1,2,3);
- Query OK, 1 row affected (0.00 sec)
- root@test 04:37:37>replace into yy values(2,2,4);
- Query OK, 1 row affected (0.00 sec)
- root@test 04:38:05>select * from yy;
- +—-+——+——+
- | id | b | c |
- +—-+——+——+
- | 1 | 2 | 3 |
- | 2 | 2 | 4 |
- +—-+——+——+
- 2 rows in set (0.00 sec)
- root@test 04:38:50>replace into yy values(1,2,5);
- Query OK, 2 rows affected (0.00 sec)
- root@test 04:38:58>select * from yy;
- +—-+——+——+
- | id | b | c |
- +—-+——+——+
- | 2 | 2 | 4 |
- | 1 | 2 | 5 |
- +—-+——+——+
- 2 rows in set (0.00 sec)
主键冲突时,数据库对表做先删除然后插入的操作,也即先删除id=1的记录,然后插入新的id=1 的记录(1,2,5).
- BINLOG \’
- Io5hVROWYHC+KwAAAEICAAAAAMoMAAAAAAEABHRlc3QAAnl5AAMDAwMABg==
- Io5hVRmWYHC+KgAAAGwCAAAAAMoMAAAAAAAAA//4AQAAAAIAAAADAAAA
- ### DELETE FROM test.yy
- ### WHERE
- ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=2 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=3 /* INT meta=0 nullable=1 is_null=0 */
- Io5hVReWYHC+KgAAAJYCAAAAAMoMAAAAAAEAA//4AQAAAAIAAAAFAAAA
- \’/*!*/;
- ### INSERT INTO test.yy
- ### SET
- ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=2 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=5 /* INT meta=0 nullable=1 is_null=0 */
- # at 662
- #150524 16:38:58 server id 3195035798 end_log_pos 689 Xid = 22962508
- COMMIT/*!*/
情形2 唯一建冲突
- root@test 04:48:30>select * from yy;
- +—-+——+——+
- | id | b | c |
- +—-+——+——+
- | 1 | 2 | 4 |
- | 2 | 2 | 5 |
- | 3 | 3 | 5 |
- | 4 | 3 | 6 |
- +—-+——+——+
- 4 rows in set (0.00 sec)
- root@test 04:53:21>replace into yy values(5,3,6);
- Query OK, 2 rows affected (0.00 sec)
- root@test 04:53:40>select * from yy;
- +—-+——+——+
- | id | b | c |
- +—-+——+——+
- | 1 | 2 | 4 |
- | 2 | 2 | 5 |
- | 3 | 3 | 5 |
- | 5 | 3 | 6 |
- +—-+——+——+
- 4 rows in set (0.00 sec)
主键不冲突,唯一键冲突时,数据库对表 唯一键为(3,6)的行做update操作,将主键修改为要插入的值,id=4 改为id=5。
- BINLOG \\’
- lJFhVROWYHC+KwAAANoAAAAAAMoMAAAAAAEABHRlc3QAAnl5AAMDAwMABg==
- lJFhVRiWYHC+OAAAABIBAAAAAMoMAAAAAAEAA///+AQAAAADAAAABgAAAPgFAAAAAwAAAAYAAAA=
- \\’/*!*/;
- ### UPDATE test.yy
- ### WHERE
- ### @1=4 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=3 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=6 /* INT meta=0 nullable=1 is_null=0 */
- ### SET
- ### @1=5 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=3 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=6 /* INT meta=0 nullable=1 is_null=0 */
- # at 274
- #150524 16:53:40 server id 3195035798 end_log_pos 301 Xid = 22962872
- COMMIT/*!*/
情形3 主键和唯一键同时冲突,如果需要插入的值的主键 和唯一和表中已经存在的存在冲突。
- root@test 04:53:52>replace into yy values(1,3,6);
- Query OK, 3 rows affected (0.00 sec) —注意此处影响的行数是3
- root@test 04:55:35>select * from yy;
- +—-+——+——+
- | id | b | c |
- +—-+——+——+
- | 2 | 2 | 5 |
- | 3 | 3 | 5 |
- | 1 | 3 | 6 |
- +—-+——+——+
- 3 rows in set (0.00 sec)
要插入的值(1,3,6) 主键于 表里面的id=1的值冲突,唯一键(3,6)和表中id=5的记录冲突,MySQL 处理的时候 ,先删除id=1的行,然后更新了id=5的行。
- BINLOG \\’
- B5JhVROWYHC+KwAAAJwBAAAAAMoMAAAAAAEABHRlc3QAAnl5AAMDAwMABg==
- B5JhVRmWYHC+KgAAAMYBAAAAAMoMAAAAAAAAA//4AQAAAAIAAAAEAAAA
- ### DELETE FROM test.yy
- ### WHERE
- ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=2 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=4 /* INT meta=0 nullable=1 is_null=0 */
- B5JhVRiWYHC+OAAAAP4BAAAAAMoMAAAAAAEAA///+AUAAAADAAAABgAAAPgBAAAAAwAAAAYAAAA=
- \\’/*!*/;
- ### UPDATE test.yy
- ### WHERE
- ### @1=5 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=3 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=6 /* INT meta=0 nullable=1 is_null=0 */
- ### SET
- ### @1=1 /* INT meta=0 nullable=0 is_null=0 */
- ### @2=3 /* INT meta=0 nullable=1 is_null=0 */
- ### @3=6 /* INT meta=0 nullable=1 is_null=0 */
- # at 510
- #150524 16:55:35 server id 3195035798 end_log_pos 537 Xid = 22962904
- COMMIT/*!*/
三 结论
对表进行replace into操作的时候,
当不存在冲突时,replace into 相当于insert操作。
当存在pk冲突的时候是先delete再insert,如果主键是自增的,则自增主键会做 +1 操作。【5.5,5.6版本均做过测试】
当存在uk冲突的时候是直接update。,如果主键是自增的,则自增主键会做 +1 操作。 【5.5,5.6版本均做过测试】
了解上述原理和结论之后,以后再遇到replace into 的时候,相信各位读者可以知道如何选择,由于篇幅限制,后续文章会基于replace into原理,讲述生产过程中的注意事项。
一 介绍
上一篇文章介绍了replace into的基本原理。本章内容通过一个例子说明 replace into 带来的潜在的数据质量风险,当涉及replace into操作的表含有自增主键时,主备切换后会造成数据覆盖等不一致的情况发生。
二 案例分析
在主库上操作
- root@test 12:36:51>show create table t1 \G
- *************************** 1. row ***************************
- Table: t1
- Create Table: CREATE TABLE `t1` (
- `id` int(11) NOT NULL AUTO_INCREMENT,
- `name` varchar(20) DEFAULT NULL,
- PRIMARY KEY (`id`),
- UNIQUE KEY `name` (`name`)
- ) ENGINE=InnoDB DEFAULT CHARSET=utf8
- 1 row in set (0.00 sec)
- root@test 12:37:41>insert into t1(name) values(\’a\’)
此时检查主备库上t1的表结构都是一样的,AUTO_INCREMENT 都是2.
- root@test 12:37:51>show create table t1 \G
- *************************** 1. row ***************************
- Table: t1
- Create Table: CREATE TABLE `t1` (
- `id` int(11) NOT NULL AUTO_INCREMENT,
- `name` varchar(20) DEFAULT NULL,
- PRIMARY KEY (`id`),
- UNIQUE KEY `name` (`name`)
- ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
- 1 row in set (0.00 sec)
在主库上进行进行replace into操作
- root@test 12:37:58>replace into t1(name) values(\’a\’);
- root@test 12:38:40>replace into t1(name) values(\’a\’);
- root@test 12:38:49>select * from t1;
- +—-+——+
- | id | name |
- +—-+——+
- | 3 | a |
- +—-+——+
- 1 row in set (0.00 sec)
此时检查主备库中t1 表结构,请注意AUTO_INCREMENT=4
- root@test 12:38:51>show create table t1 \\G
- *************************** 1. row ***************************
- Table: t1
- Create Table: CREATE TABLE `t1` (
- `id` int(11) NOT NULL AUTO_INCREMENT,
- `name` varchar(20) DEFAULT NULL,
- PRIMARY KEY (`id`),
- UNIQUE KEY `name` (`name`)
- ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8
- 1 row in set (0.00 sec)
从库上t1的表结构 ,AUTO_INCREMENT=2
- root@test 12:39:35>show create table t1 \G
- *************************** 1. row ***************************
- Table: t1
- Create Table: CREATE TABLE `t1` (
- `id` int(11) NOT NULL AUTO_INCREMENT,
- `name` varchar(20) DEFAULT NULL,
- PRIMARY KEY (`id`),
- UNIQUE KEY `name` (`name`)
- ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
- 1 row in set (0.00 sec)
- root@test 12:39:43>select * from t1;
- +—-+——+
- | id | name |
- +—-+——+
- | 3 | a |
- +—-+——+
- 1 row in set (0.00 sec)
【分析】
表t1的表结构 AUTO_INCREMENT=2 而主库上的t1表结构的AUTO_INCREMENT=4.原本replace操作是在自增主键的情况下,遇到唯一键冲突时执行的是delete+insert,但是在记录binlog时,却记录成了update操作,update操作不会涉及到auto_increment的修改。备库应用了binlog之后,备库的表的auto_increment属性不变。
三 风险点:
如果主备库发生主从切换,备库变为原来的主库,按照原来的业务逻辑再往下会发生什么?
root@test 12:40:46>replace into t1(name) values(\’a\’);
Query OK, 2 rows affected (0.00 sec)
root@test 12:40:48>select * from t1;
+—-+——+
| id | name |
+—-+——+
| 2 | a | —id由原来的3变成了2.
+—-+——+
1 row in set (0.00 sec)
如果t1表本来就存在多条记录 ,主从切换之后,应用写新的主库则会发生主键冲突,这个留给各位读者自己测试一下。^_^
四 总结
由于replace into操作在遇到主键冲突的时候 会修改主键的值,所以如果业务逻辑强依赖自增ID,绝对不要用replace,普通环境也不建议这样用,因为replace into 操作可能会导致主键的重新组织.