awk 文本三剑客收官:挑行、取列、算数一条命令搞定

举报
yd_273693568 发表于 2026/11/17 18:26:50 2026/11/17
【摘要】 一、列出来的数据,为什么要用 awk上一节讲了 grep 和 sed,这篇补上文本三剑客的最后一把:awk。前面两个工具解决的是「找什么」「改什么」,awk 解决的是「列」——日志和命令输出天生按列组织,要统计第几列的和、按某列分组计数、格式化报表,awk 一条命令全搞定。二、先建立模型:模式和动作awk '{print $1}' app.log # 无条件:每行都执行动...

一、列出来的数据,为什么要用 awk

上一节讲了 grep 和 sed,这篇补上文本三剑客的最后一把:awk。前面两个工具解决的是「找什么」「改什么」,awk 解决的是「列」——日志和命令输出天生按列组织,要统计第几列的和、按某列分组计数、格式化报表,awk 一条命令全搞定。

二、先建立模型:模式和动作

awk '{print $1}' app.log           # 无条件:每行都执行动作
awk '/ERROR/{print $1}' app.log    # 有模式:只对匹配 ERROR 的行执行
awk '$3>100{print $1}' app.log     # 列比较:第 3 列大于 100 才执行
awk 'NR>=10&&NR<=20{print}' app.log  # 按行号取 10-20 行(顶替 sed -n 10,20p)

记住这句话就入门了:awk 把每行按空白自动切成 $1 $2 $3…,$0 是整行,NF 是列数,NR 是行号。大部分需求就是「挑行、取列、打印」三步。

三、最常用:分组计数(取代 grep+sort+uniq)

# 统计每种状态码出现的次数——一个 awk 抵一条管道
awk '{count[$9]++} END{for(c in count) print c, count[c]}' access.log

# 统计每个 IP 的请求数,再按次数倒序
awk '{ip[$1]++} END{for(i in ip) print ip[i], i}' access.log | sort -rn | head

count[$9]++ 是 awk 的灵魂用法:以第 9 列为下标建关联数组,自动计数;END 块在所有行读完后执行,用来输出结果。凡是以某个字段为维度做统计,都是这个模板,把下标换成你要的列就行。

四、算数:求和、平均、最值

# 第 4 列是响应时间,求总和与均值
awk '{sum+=$4; n++} END{print "total", sum, "avg", sum/n}' app.log

# 找出响应时间最大的那条日志
awk 'max<$4{max=$4; line=$0} END{print max, line}' app.log

sum+=$4 不用初始化,awk 变量默认 0/空。求最值的套路:变量当「当前最大值」,比它大就替换并记下整行——比 sort + head 快,还不用把整行排序。

五、BEGIN 块与格式化输出

awk 'BEGIN{print "IP  次数"} {ip[$1]++} END{for(i in ip) printf "%-16s %d\n", i, ip[i]}' access.log

BEGIN 块在读第一行之前执行,适合打印表头、初始化分隔符(-F"," 或 BEGIN{FS=","} 处理 CSV);printf 和 C 语言一样,%-16s 左对齐 16 宽——要交报表时,这一招直接出成品。

六、两个日常直接抄的组合

# 挑出第 3 列等于 500 的行,只打印时间和 URL($6)
awk '$3==500{print $4, $6}' access.log

# -F 指定分隔符:取 /etc/passwd 的用户名和 shell
awk -F: '{print $1, $7}' /etc/passwd

# 从 ps 输出里直接算某个进程的内存合计(KB)
ps aux | awk '/nginx/{sum+=$6} END{print sum/1024 " MB"}'

管道里接 awk 是最高频的形态:上一条命令的输出,awk 直接按列消费,不用落盘。和 grep 的分工也很清晰——grep 挑行,awk 算列,行和列都会处理了,日志分析基本没有盲区。

七、三行口诀

挑行用模式、取列用 $n、汇总写 END;分组计数 count[$列]++,求和平均 sum+=$列;报表记得 BEGIN 加 printf。三剑客到齐:grep 找、sed 改、awk 算。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。