Linux 文本处理三剑客:grep、sed、awk 入门实战
Linux 服务器上每天都会产生大量文本:系统日志、应用日志、配置文件和统计报表。会不会高效处理文本,往往决定了排查问题和日常运维的速度。grep、sed、awk 被称为 Linux 文本处理三剑客:一个负责找,一个负责改,一个负责算。下面结合实例,从入门到组合实战一次讲清楚。
一、grep:先把目标行找出来
grep 的核心工作是按模式过滤行,只保留匹配的行。
grep "error" `app.log`
grep -rn "timeout" `logs/`
grep -v "health-check" `access.log`
常用选项要记牢:-n 显示行号,-i 忽略大小写,-r 递归搜索目录,-v 反向排除,-c 只统计匹配行数。排查线上问题时,我最常用的组合是先用 grep "ERROR" 缩小范围,再用 -n 定位行号,最后结合上下文查看。
grep -n "ERROR" `app.log` | head -20
grep -A 3 -B 3 "OutOfMemory" `app.log`
-A 显示匹配行之后的行,-B 显示之前的行,-C 则前后都显示。只看一行报错往往不够,结合上下文才能判断是偶发异常还是系统性故障。
二、sed:不打开文件也能改文本
sed 是流编辑器,按行读取、按规则处理,适合批量替换与行级编辑。
sed -i 's/192.168.1.10/192.168.1.20/g' `config.ini`
sed -n '10,20p' `access.log`
sed '/^$/d' `data.txt`
第一条把配置文件里的旧地址批量换成新地址,-i 表示直接修改原文件,操作前建议先备份。第二条只打印第 10 到 20 行,适合快速抽查文件中间部分。第三条删除空行,让数据文件更干净。
需要注意:sed 默认使用基本正则,+、?、| 等符号需要转义或改用 -E 启用扩展正则。
三、awk:按列处理,边算边统计
如果说 grep 处理行、sed 处理字符,那么 awk 处理的是列。它按字段切分每一行,适合日志统计与报表生成。
awk '{print $1, $7}' `access.log`
awk '$3 > 500 {print $1, $3}' `scores.txt`
awk '{sum += $2} END {print "总和:", sum}' `sales.txt`
$1、$2 分别表示第一列、第二列,$0 表示整行,NF 表示字段数,NR 表示当前行号。默认按空白分隔字段,也可以用 -F 指定分隔符,例如处理逗号分隔的数据时使用 -F,。
awk -F, '{print $2}' `users.csv`
awk '{count[$1]++} END {for (ip in count) print ip, count[ip]}' `access.log`
第二条用第一列做键累加,是统计访问量最高的 IP 的经典写法。
四、三剑客组合实战:从日志里找慢请求
单独用一个工具能解决的问题有限,组合起来才是日常工作的常态。假设要从 access.log 里找出耗时超过 1 秒的请求并按接口统计:
grep " 200 " `access.log` | awk '$NF > 1000 {print $7}' | sort | uniq -c | sort -nr | head -10
这条管道分四步:grep 先过滤出状态码为 200 的行;awk 取出耗时字段大于 1000 毫秒的行的接口路径;sort | uniq -c 统计每个接口出现的次数;最后按次数倒序取前 10 名。
五、常见误区与使用建议
第一,不要一上来就用复杂正则,先用简单模式验证,再逐步收紧。第二,涉及 -i 原地修改时,先在副本上验证,确认无误再对原文件操作。第三,处理大文件时优先用管道组合,避免把中间结果写成多个临时文件。第四,把常用的组合命令记下来,遇到同类问题直接复用。
结语
grep 找行、sed 改行、awk 算列,三者分工明确又能无缝组合。入门不需要一次记住全部选项,先掌握本文的十几个常用用法,再在真实日志与配置文件中反复练习,就能在排查问题与日常运维中明显提速。
- 点赞
- 收藏
- 关注作者
评论(0)