awk 文本三剑客收官:挑行、取列、算数一条命令搞定
一、列出来的数据,为什么要用 awk
上一节讲了 grep 和 sed,这篇补上文本三剑客的最后一把:awk。前面两个工具解决的是「找什么」「改什么」,awk 解决的是「列」——日志和命令输出天生按列组织,要统计第几列的和、按某列分组计数、格式化报表,awk 一条命令全搞定。
二、先建立模型:模式和动作
awk '{print $1}' app.log # 无条件:每行都执行动作
awk '/ERROR/{print $1}' app.log # 有模式:只对匹配 ERROR 的行执行
awk '$3>100{print $1}' app.log # 列比较:第 3 列大于 100 才执行
awk 'NR>=10&&NR<=20{print}' app.log # 按行号取 10-20 行(顶替 sed -n 10,20p)
记住这句话就入门了:awk 把每行按空白自动切成 $1 $2 $3…,$0 是整行,NF 是列数,NR 是行号。大部分需求就是「挑行、取列、打印」三步。
三、最常用:分组计数(取代 grep+sort+uniq)
# 统计每种状态码出现的次数——一个 awk 抵一条管道
awk '{count[$9]++} END{for(c in count) print c, count[c]}' access.log
# 统计每个 IP 的请求数,再按次数倒序
awk '{ip[$1]++} END{for(i in ip) print ip[i], i}' access.log | sort -rn | head
count[$9]++ 是 awk 的灵魂用法:以第 9 列为下标建关联数组,自动计数;END 块在所有行读完后执行,用来输出结果。凡是以某个字段为维度做统计,都是这个模板,把下标换成你要的列就行。
四、算数:求和、平均、最值
# 第 4 列是响应时间,求总和与均值
awk '{sum+=$4; n++} END{print "total", sum, "avg", sum/n}' app.log
# 找出响应时间最大的那条日志
awk 'max<$4{max=$4; line=$0} END{print max, line}' app.log
sum+=$4 不用初始化,awk 变量默认 0/空。求最值的套路:变量当「当前最大值」,比它大就替换并记下整行——比 sort + head 快,还不用把整行排序。
五、BEGIN 块与格式化输出
awk 'BEGIN{print "IP 次数"} {ip[$1]++} END{for(i in ip) printf "%-16s %d\n", i, ip[i]}' access.log
BEGIN 块在读第一行之前执行,适合打印表头、初始化分隔符(-F"," 或 BEGIN{FS=","} 处理 CSV);printf 和 C 语言一样,%-16s 左对齐 16 宽——要交报表时,这一招直接出成品。
六、两个日常直接抄的组合
# 挑出第 3 列等于 500 的行,只打印时间和 URL($6)
awk '$3==500{print $4, $6}' access.log
# -F 指定分隔符:取 /etc/passwd 的用户名和 shell
awk -F: '{print $1, $7}' /etc/passwd
# 从 ps 输出里直接算某个进程的内存合计(KB)
ps aux | awk '/nginx/{sum+=$6} END{print sum/1024 " MB"}'
管道里接 awk 是最高频的形态:上一条命令的输出,awk 直接按列消费,不用落盘。和 grep 的分工也很清晰——grep 挑行,awk 算列,行和列都会处理了,日志分析基本没有盲区。
七、三行口诀
挑行用模式、取列用 $n、汇总写 END;分组计数 count[$列]++,求和平均 sum+=$列;报表记得 BEGIN 加 printf。三剑客到齐:grep 找、sed 改、awk 算。
- 点赞
- 收藏
- 关注作者
评论(0)