Linux 文本处理三剑客:grep、sed、awk 入门实战

举报
yd_252022162 发表于 2026/11/18 06:15:06 2026/11/18
【摘要】 Linux 服务器上每天都会产生大量文本:系统日志、应用日志、配置文件和统计报表。会不会高效处理文本,往往决定了排查问题和日常运维的速度。grep、sed、awk 被称为 Linux 文本处理三剑客:一个负责找,一个负责改,一个负责算。下面结合实例,从入门到组合实战一次讲清楚。 一、grep:先把目标行找出来grep 的核心工作是按模式过滤行,只保留匹配的行。grep "error" `ap...

Linux 服务器上每天都会产生大量文本:系统日志、应用日志、配置文件和统计报表。会不会高效处理文本,往往决定了排查问题和日常运维的速度。grep、sed、awk 被称为 Linux 文本处理三剑客:一个负责找,一个负责改,一个负责算。下面结合实例,从入门到组合实战一次讲清楚。

一、grep:先把目标行找出来

grep 的核心工作是按模式过滤行,只保留匹配的行。

grep "error" `app.log`
grep -rn "timeout" `logs/`
grep -v "health-check" `access.log`

常用选项要记牢:-n 显示行号,-i 忽略大小写,-r 递归搜索目录,-v 反向排除,-c 只统计匹配行数。排查线上问题时,我最常用的组合是先用 grep "ERROR" 缩小范围,再用 -n 定位行号,最后结合上下文查看。

grep -n "ERROR" `app.log` | head -20
grep -A 3 -B 3 "OutOfMemory" `app.log`

-A 显示匹配行之后的行,-B 显示之前的行,-C 则前后都显示。只看一行报错往往不够,结合上下文才能判断是偶发异常还是系统性故障。

二、sed:不打开文件也能改文本

sed 是流编辑器,按行读取、按规则处理,适合批量替换与行级编辑。

sed -i 's/192.168.1.10/192.168.1.20/g' `config.ini`
sed -n '10,20p' `access.log`
sed '/^$/d' `data.txt`

第一条把配置文件里的旧地址批量换成新地址,-i 表示直接修改原文件,操作前建议先备份。第二条只打印第 10 到 20 行,适合快速抽查文件中间部分。第三条删除空行,让数据文件更干净。

需要注意:sed 默认使用基本正则,+、?、| 等符号需要转义或改用 -E 启用扩展正则。

三、awk:按列处理,边算边统计

如果说 grep 处理行、sed 处理字符,那么 awk 处理的是列。它按字段切分每一行,适合日志统计与报表生成。

awk '{print $1, $7}' `access.log`
awk '$3 > 500 {print $1, $3}' `scores.txt`
awk '{sum += $2} END {print "总和:", sum}' `sales.txt`

$1、$2 分别表示第一列、第二列,$0 表示整行,NF 表示字段数,NR 表示当前行号。默认按空白分隔字段,也可以用 -F 指定分隔符,例如处理逗号分隔的数据时使用 -F,。

awk -F, '{print $2}' `users.csv`
awk '{count[$1]++} END {for (ip in count) print ip, count[ip]}' `access.log`

第二条用第一列做键累加,是统计访问量最高的 IP 的经典写法。

四、三剑客组合实战:从日志里找慢请求

单独用一个工具能解决的问题有限,组合起来才是日常工作的常态。假设要从 access.log 里找出耗时超过 1 秒的请求并按接口统计:

grep " 200 " `access.log` | awk '$NF > 1000 {print $7}' | sort | uniq -c | sort -nr | head -10

这条管道分四步:grep 先过滤出状态码为 200 的行;awk 取出耗时字段大于 1000 毫秒的行的接口路径;sort | uniq -c 统计每个接口出现的次数;最后按次数倒序取前 10 名。

五、常见误区与使用建议

第一,不要一上来就用复杂正则,先用简单模式验证,再逐步收紧。第二,涉及 -i 原地修改时,先在副本上验证,确认无误再对原文件操作。第三,处理大文件时优先用管道组合,避免把中间结果写成多个临时文件。第四,把常用的组合命令记下来,遇到同类问题直接复用。

结语

grep 找行、sed 改行、awk 算列,三者分工明确又能无缝组合。入门不需要一次记住全部选项,先掌握本文的十几个常用用法,再在真实日志与配置文件中反复练习,就能在排查问题与日常运维中明显提速。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。