SQL 删除某字段重复行不使用临时表 适用Mysql/sqlserver等

前言

       作为开发人员，我们经常遇到必须处理数据库相关内容的情况； 通常，当客户端以excel工作表的形式向您发送其数据，并且在经过一些excel操作后将数据推送到数据库表时，便完成了该操作。 我也这么干过多次。

       这种方法面临的一个非常普遍的问题是，它有时可能会导致重复行，因为发送的数据，主要来自人力资源和财务等部门，而人们对数据标准化技术并不充分的了解[:-)]。

       本教程主要讲解怎么使用sql将某些重复字段的行删除，并且不使用临时表的方式。该方法测试过MySQL,sql server理论其他关系数据库通用的。

实际案例

我将使用Employee表，其中的列名称为id, name, department and email。
以下是用于生成测试数据的SQL脚本：
 

Create schema TestDB;

CREATE TABLE EMPLOYEE
(
    ID INT,
    NAME Varchar(100),
    DEPARTMENT INT,
    EMAIL Varchar(100)
);

INSERT INTO EMPLOYEE VALUES (1,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (2,'Lokesh',102,'lokesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (3,'Rakesh',103,'rakesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (4,'Yogesh',104,'yogesh@leftso.com');

-- 下面的是重复数据

INSERT INTO EMPLOYEE VALUES (5,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (6,'Lokesh',102,'lokesh@leftso.com');

查询表，数据如下图所示：

重复数据SQL删除解决办法

DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id;

执行结果如下图：

上面的sql查询将删除name字段重复的行，只有name唯一且ID字段最低的那些唯一行将被保留。 例如，ID为5和6的行将被删除，而ID为1和2的行将被保留。处理后查询结果如下图：

如果要保留具有最新生成的ID值的行，则将where子句中的条件反转为e1.id <e2.id，如下所示：

DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id;

如果要比较多个字段并添加适当的where子句。

注意：请始终首先对测试数据执行上述（或修改的）查询，以确保其产生预期的输出。