解析Shell编程中的-----“去重“

举报
指剑 发表于 2022/09/02 23:04:17 2022/09/02
【摘要】 原因: 在编写自动化脚本的时候发现,需要使用到循环来遍历某个文件中的内容,但此文件中存在大量的重复无用的数据,需要将其----去重 实践中: 采用 sort 和 uniq 命令来...

原因:

在编写自动化脚本的时候发现,需要使用到循环来遍历某个文件中的内容,但此文件中存在大量的重复无用的数据,需要将其----去重

实践中:

采用 sortuniq 命令来对其进行去重,并发现两者不同

实际例子如下

此处处理的文件名为 data

[root@ip-10-0-1-169 ~]# cat data 
123456789
55v1g52d4
15613g645
15613g645
15613g645
15613g645
15613g645
123456789
123456789
123456789
15613g645
15613g645
15613g645

使用sort 处理数据

[root@ip-10-0-1-169 ~]# cat data |sort -u
123456789
15613g645
55v1g52d4

使用uniq处理数据

[root@ip-10-0-1-169 ~]# cat data |uniq
123456789
55v1g52d4
15613g645
123456789
15613g645
[root@ip-10-0-1-169 ~]# cat data |uniq -u
123456789
55v1g52d4

由上述例子可得:

sort:

串联排序所有指定文件并将结果写到标准输出,此处加上-u参数, --unique 输出一次排序结果

uniq:

用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列

文章来源: blog.csdn.net,作者:指剑,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/fly1574/article/details/107331330

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。