在数据整合与处理的场景中，我们常常面临一个挑战：如何将爬取的数据与现有的数据表进行合并并去重。本文将向你介绍一种在MySQL中实现这一目标的简单方法，通过示例代码，让你轻松掌握这一技能。
假设我们有两个结构相同的数据表，分别为pep和pep2。我们的目标是把pep2中的数据合并到pep中，并确保数据不重复。以下是具体步骤：
```sql
CREATE TABLE IF NOT EXISTS `pep/pep2` (
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
```
```sql
insert into pep(no) values('abc');
insert into pep(no) values('caa');
insert into pep2(no) values('abc');
```
```sql
insert into pep (no) select no from pep2;
```
可能会出现重复数据。为了去重，我们可以创建一个临时表tmp，通过分组操作来筛选唯一的数据。
```sql
create table tmp select id, no from pep group by no;
```
在这个过程中，可能会遇到一种错误，这是由于MySQL的默认SQL模式导致的。解决这个问题的办法是修改全局和会话的SQL模式。
```sql
mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
```
接下来，删除原有的pep表，并将临时表tmp重命名为pep。可能会发现id字段的类型发生了变化，需要改回原来的类型并重新设置为自增主键。
```sql
drop table pep;
alter table tmp rename to pep;
alter table pep add primary key (id);
alter table pep modify id int auto_increment;
```
