用 sort 与 uniq 整理与统计文本行的三个常用方法

举报
yd_256822737 发表于 2026/11/15 09:57:13 2026/11/15
【摘要】 在 Linux 里处理文本时,sort 和 uniq 是一对常搭档:sort 负责把行排好序,uniq 负责把相邻的重复行合并或计数。两者配合,能快速完成去重、统计出现次数、找重复行这些日常工作。一、用 sort -u 一步去重sort 自带 -u 选项,可以在排序的同时去掉重复行,效果等同于先 sort 再 uniq:sort -u names.txt如果只想看去重后的结果而不改原文件,把...

在 Linux 里处理文本时,sort 和 uniq 是一对常搭档:sort 负责把行排好序,uniq 负责把相邻的重复行合并或计数。两者配合,能快速完成去重、统计出现次数、找重复行这些日常工作。

一、用 sort -u 一步去重
sort 自带 -u 选项,可以在排序的同时去掉重复行,效果等同于先 sort 再 uniq:
sort -u names.txt
如果只想看去重后的结果而不改原文件,把输出重定向到新文件:sort -u names.txt > names_unique.txt。注意 sort 默认按整行字典序比较,数字会按字符比较(10 排在 2 前面),要按数值排就加 -n。

二、用 sort | uniq -c 统计每行出现次数
uniq 只能处理相邻的重复行,所以使用前必须先 sort。最常用的组合是统计每种内容各出现几次:
sort access.log | uniq -c | sort -nr
uniq -c 会在每行前面加上出现次数,再用 sort -nr 按次数从大到小排,一眼就能看出出现最频繁的内容。常用来统计日志里访问最多的 IP、报错最多的信息。

三、用 sort | uniq -d 只找重复行
只想找出重复出现的内容,不想看只出现一次的行,用 uniq -d:
sort names.txt | uniq -d
反过来,只保留恰好出现一次的行,用 uniq -u。-d 和 -u 都是先 sort 再过滤,顺序不能颠倒。

三个小提醒:第一,uniq 只认相邻重复,不先 sort 就会漏掉分散的重复行;第二,sort 默认区分大小写,Apple 和 apple 会被当成不同行,需要忽略大小写时加 -f;第三,处理大文件时先确认磁盘空间足够,排序会产生临时数据。这三个组合覆盖了日常去重和统计的大部分场景,先 sort 再 uniq 这个顺序记住了,文本整理就顺手很多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。