mySql数据重复数据去重

1、问题来源：数据中由于并发问题，数据存在多次调用接口，插入了重复数据，需要根据多条件删除重复数据；

2、参考博客文章地址：https://www.cnblogs.com/jiangxiaobo/p/6589541.html

二、

1、删除数据之前，先要查找到重复的数据，有一张单位表，单位名称可以重复，但是在不同组织id下不能重复（多条件计数重复数据），统计一下重复的数据

根据条件进行数据统计，然后选出记录数大于1的记录，看一下哪些数据是重复的数据：

SELECT

    count( company_name ) countNum,

    company_name,

    org_id

FROM

    company

GROUP BY

    company_name,

    org_id

HAVING

    countNum > 1

ORDER BY

    countNum DESC

查询结果

2、删除重复数据：根据数据查询出的条件筛选出重复数据的id，然后将id最小的排除掉，然后删除这些重复数据，中间由于数据库版本的问题，不能直接在查询表的数据删除数据

所以需要将查询的重复的记录作为一个子查询，起一个别名，然后再进行删除

delete from company WHERE id in (

SELECT t.id FROM (

select id

FROM

    company a

WHERE

    (a.company_name, a.org_id) IN (

        SELECT

            company_name,

            org_id

        FROM

            company

        GROUP BY

            company_name,

            org_id

        HAVING

            count(*) > 1

    )

AND id NOT IN (

    SELECT

        min(id)

    FROM

        company

    GROUP BY

        company_name,

        org_id

    HAVING

        count(*) > 1

)) t)

巴特西

mySql数据重复数据去重

最新文章

热门文章