用 sort 与 uniq 整理与统计文本行的三个常用方法
在 Linux 里处理文本时,sort 和 uniq 是一对常搭档:sort 负责把行排好序,uniq 负责把相邻的重复行合并或计数。两者配合,能快速完成去重、统计出现次数、找重复行这些日常工作。
一、用 sort -u 一步去重
sort 自带 -u 选项,可以在排序的同时去掉重复行,效果等同于先 sort 再 uniq:
sort -u names.txt
如果只想看去重后的结果而不改原文件,把输出重定向到新文件:sort -u names.txt > names_unique.txt。注意 sort 默认按整行字典序比较,数字会按字符比较(10 排在 2 前面),要按数值排就加 -n。
二、用 sort | uniq -c 统计每行出现次数
uniq 只能处理相邻的重复行,所以使用前必须先 sort。最常用的组合是统计每种内容各出现几次:
sort access.log | uniq -c | sort -nr
uniq -c 会在每行前面加上出现次数,再用 sort -nr 按次数从大到小排,一眼就能看出出现最频繁的内容。常用来统计日志里访问最多的 IP、报错最多的信息。
三、用 sort | uniq -d 只找重复行
只想找出重复出现的内容,不想看只出现一次的行,用 uniq -d:
sort names.txt | uniq -d
反过来,只保留恰好出现一次的行,用 uniq -u。-d 和 -u 都是先 sort 再过滤,顺序不能颠倒。
三个小提醒:第一,uniq 只认相邻重复,不先 sort 就会漏掉分散的重复行;第二,sort 默认区分大小写,Apple 和 apple 会被当成不同行,需要忽略大小写时加 -f;第三,处理大文件时先确认磁盘空间足够,排序会产生临时数据。这三个组合覆盖了日常去重和统计的大部分场景,先 sort 再 uniq 这个顺序记住了,文本整理就顺手很多。
- 点赞
- 收藏
- 关注作者
评论(0)