兴国资源网

MySQL去重的方法整理
站长资源 2024/11/8 佚名
2 0
兴国资源网 Design By www.nnzcdc.com

MySQL去重的方法整理

【初级】有极少的重复行

使用distinct查出来，然后手动一行一行删除。

【中级】按照单个字段的重复去重

例如：对id字段去重

使用方法：获取id的重复字段的值，利用相同id字段所在的行中，比较出数据不同的字段，删除 除了最小（或最大）的字段所在的该行之外的所有重复的行。一般使用主键来比较，因为主键的值一定是唯一值，绝对不相同。

id  name

1    a

1    b

2    c

2    a

3    c

结果：

id  name

1    a 

2    a

操作：

delete from a_tmp 

where id in (select * from (select b.id from a_tmp b group by b.id having count(b.id) >1) bb) 

and name not in (select * from (select min(a.name) from a_tmp a GROUP BY a.id having count(a.id) >1) aa);

注意：

上述加粗并绿色的字，必须加别名，必须使用select * from (……)这样的格式，否则会报错：

[Err] 1093 - You can't specify target table 'a_tmp' for update in FROM clause

【高级】按多个字段的重复来去重

例如：对id，name相同的去重，即：对id，name都相同的算作重复行，对id相同而name不同的算作不重复行

使用方法：和单个字段相似，一般使用主键来比较，因为主键的值一定是唯一值。

id  name  rowid

1  a      1

1  a      2

1  b      3

2  b      4

2  b      5

3  c      6

3  d     7

结果：

id  name  rowid

1  a      1 

1  b      3

2  b      4

3  c      6

3  d     7

操作：

第一种：

delete from a_tmp 

where (id,name) in (select * from (select b.id,b.name from a_tmp b group by b.id,b.name having count(b.id) >1) bb) 

and rowid not in (select * from (select min(a.rowid) from a_tmp a group by a.id,a.name having count(a.id) >1) aa);

第二种：

将id和name字段的值连接起来插入到临时表中b_tmp，这样便可以使用【中级】的单字段的判断删除方法。

#将两字段连接的值，a_tmp表中唯一值的字段插入b_tmp表

insert into b_tmp 

 select concat(id,name),rowid from a_tmp;

#查出需要留下来的行

select id_name,max(rowid)

 from b_tmp 

 group by id_name

 having count(id_name)>1;

#使用【中级】的方法，或存储过程完成去重的工作

 【终极】每行都有两份一样的数据

例如：

使用方法：对于整行的数据都一样，是没办法使用SQL语句删除的，因为没有可以使用的条件限制来留下一行删除所有与其相同的行。没有不同的字段可以自己创造不同的字段，即：添加一个字段，设为自增长，并设为主键，它会自动添加上值。

id  name

1   a

1   a

1   b

1   b

2   c

2   c

3   c

3   c

结果：

id  name   rowid

1   a       1

1   b       3

2   c       5

3   c       7

操作：

添加一个自增长的字段，并暂时设为主键。

使用上面【中级】和【高级】的方法操作。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

兴国资源网 Design By www.nnzcdc.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
兴国资源网 Design By www.nnzcdc.com
www.nnzcdc.com 兴国资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
兴国资源网 Design By www.nnzcdc.com