[华为云在线课程][Linux文件查找和压缩Sed文本三剑客处理工具实战][第三章文本处理三剑客之sed][学习笔记]

举报
John2021 发表于 2022/04/14 07:37:52 2022/04/14
【摘要】 官网:https://sed.sourceforge.net/ sed工作原理sed即Stream Editor,和vi不同,sed是行编辑器sed是从文件或管道中读取一行,处理一行,输出一行;再读取一行,再处理一行,再输出一行,直到最后一行。每当处理一行时,把当前处理的行存储在临时缓冲区中,称为模式空间(Pattern Space),接着用sed命令处理缓冲器中的内容,处理完成后,把缓冲区...

官网:https://sed.sourceforge.net/

sed工作原理

sed即Stream Editor,和vi不同,sed是行编辑器

sed是从文件或管道中读取一行,处理一行,输出一行;再读取一行,再处理一行,再输出一行,直到最后一行。每当处理一行时,把当前处理的行存储在临时缓冲区中,称为模式空间(Pattern Space),接着用sed命令处理缓冲器中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。一次处理一行的设计模式使得sed性能很高,sed在读取大文件时不会出现卡顿的现象。如果使用vi命令打开几十M上百M的文件,明显会出现有卡顿的现象,这是因为vi命令打开文件是一次性将文件加载到内存,然后再打开。sed就避免了这种情况,一行一行的处理,打开速度非常快,执行速度也很快。
帮助参考网站:https://www.gnu.org/software/sed/manual/sed.html

sed基本用法

格式:

sed [option]... 'script;script;...' inputfile...

常用选项:

-n          不输出模式空间内容到屏幕,即不自动打印
-e          多点编辑
-f FILE     从指定文件中读取编辑脚本
-r,-E       使用扩展正则表达式
-i.bak      备份文件并原处编辑
-s          将多个文件视为独立文件,而不是单个连续的长文件流

script格式:

'地址命令'

地址格式:

1,不给地址:对全文进行处理
2,单地址:
        #:指定的行,$:最后一行
        /pattern/:被此处模式所能够匹配到的每一行
3,地址范围:
        #,#         从#行到#行,36,从第3行到第6行
        #,+#        从#行到+#行,3+4,从第3行到第7/pat1/,/pat2/
        #,/pat/
4,步进:~
        1~2 奇数行
        2~2 偶数行

命令:

p           打印当前模式空间内容,追加到默认输出之后
Ip          忽略大小写输出
d           删除模式空间匹配的行,并立即启用下一轮循环
a [\]text   在指定行后面追加文本,支持使用\n实现多行追加
i [\]text   在行前面插入文本
c [\]text   替换行为单行或多行文本
w file      保存模式匹配的行至指定文件
r file      读取指定文件的文本至模式空间中匹配到的行后
=           为模式空间中的行打印行号
!           模式空间中匹配行取反处理
q           结束或退出sed

s/pattern/string/修饰符   查找替换,支持使用其他分隔符,可以是其他形式:s@@@,s###
替换修饰符:
g               行内全局替换
p               显示替换成功的行
w /PATH/FILE    将替换成功的行保存至文件中
I,i             忽略大小写

例子:

[root@localhost Code]# sed ''
hello
hello
world
world

例子:搜索替换和&

[root@localhost Code]# sed -nr 's/r..t/&er/gp' /etc/passwd
rooter:x:0:0:rooter:/rooter:/bin/bash
operator:x:11:0:operator:/rooter:/sbin/nologin
ftp:x:14:50:FTP User:/var/fterp:/sbin/nologin

例子:获取分区利用率

[root@localhost Code]# df | sed -En '/^\/dev\/sd/s@.* ([0-9]+)%.*@\1@p'
19

例子:

sed '2p' /etc/passwd
sed -n '2p' /etc/passwd
sed -n '1,4p' /etc/passwd
sed -n '/root/p' /etc/passwd
sed -n '2,/root/p' /etc/passwd 从2行开始
sed -n -e '/^$/=' file 显示空行行号
sed -n -e '/^$/p' -e '/^$/=' file
sed '/root/a\superman' /etc/passwd 行后
sed '/root/i\superman' /etc/passwd 行前
sed '/root/c\superman' /etc/passwd 替代行
sed '/^$/d' file
sed '1,10d' file
nl /etc/passwd | sed '2,5d'
nl /etc/passwd | sed '2a tea'
sed 's/test/mytest/g' example
sed -n 's/root/&superman/p' /etc/passwd 单词后
sed -n 's/root/superman&/p' /etc/passwd 单词前
sed -e 's/dog/cat/' -e 's/hi/lo' pets
sed -i.bak 's/dog/cat/g' pets

获取:取IP地址

[root@localhost Code]# ifconfig ens33 | sed -nr '2s/[^0-9]+([0-9.]+).*/\1/p'
10.0.0.110
[root@localhost Code]# ifconfig ens33 | sed -En '2s/^[^0-9]+([0-9.]{7,15}).*/\1/p'
10.0.0.110
[root@localhost Code]# ifconfig ens33 | sed -rn '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.0.0.110
[root@localhost Code]# ifconfig ens33 | sed -n '2s/^.*inet //p' | sed -n 's/ netmask.*//p'
10.0.0.110
[root@localhost Code]# ifconfig ens33 | sed -n '2s/^.*inet //;s/ netmask.*//p'
10.0.0.110
[root@localhost Code]# ifconfig ens33 | sed -rn '2s/(.*inet )([0-9].*)( netmask.*)/\2/p'
10.0.0.110

例子:取基名和目录名

[root@localhost Code]# echo '/etc/sysconfig/network-scripts/' | sed -r 's#(^/.*/)([^/]+/?)#\2#'
network-scripts/
[root@localhost Code]# echo '/etc/sysconfig/network-scripts/' | sed -r 's#(^/.*/)([^/]+/?)#\1#'
/etc/sysconfig/

#取目录名
[root@localhost Code]# echo /etc/sysconfig/ | sed -rn 's#(.*)/([^/]+)/?#\1#p'
/etc

#取基名
[root@localhost Code]# echo /etc/sysconfig/ | sed -rn 's#(.*)/([^/]+)/?#\2#p'
sysconfig

例子:取文件的前缀和后缀

[root@localhost Code]# echo a.b.c.gz | sed -En 's/(.*)\.([^.]+)$/\1/p'
a.b.c
[root@localhost Code]# echo a.b.c.gz | sed -En 's/(.*)\.([^.]+)$/\2/p'
gz

[root@localhost Code]# echo a.b.c.gz | grep -Eo '.*\.'
a.b.c.
[root@localhost Code]# echo a.b.c.gz | grep -Eo '[^.]+$'
gz

例子:将非#开头的行加#

[root@localhost Code]# sed -rn 's/^[^#]/#&/p' /etc/fstab
#/dev/mapper/centos-root /                       xfs     defaults        0 0
#UUID=93e47a10-4e84-4e1e-a4d0-d74a5e5d2ba1 /boot                   xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0
[root@localhost Code]# sed -rn 's/^[^#](.*)/#\1/p' /etc/fstab
#dev/mapper/centos-root /                       xfs     defaults        0 0
#UID=93e47a10-4e84-4e1e-a4d0-d74a5e5d2ba1 /boot                   xfs     defaults        0 0
#dev/mapper/centos-swap swap                    swap    defaults        0 0

sed高级用法

sed中除了模式空间,还另外支持保持空间(Hold Space),利用此空间,可以将模式空间中的数据,临时保存至保持空间,从而后续接着处理,实现更强大的功能。
常见的高级命令

p               打印模式空间开端至\n内容,并追加到默认输出之前
h               把模式空间中的内容覆盖至保持空间中
H               把模式空间中的内容追加至保持空间中
g               从保持空间取出数据覆盖至模式空间
G               从保持空间取出内容追加至模式空间
x               把模式空间中的内容与保持空间中的内容进行互换
n               读取匹配到的行的下一行覆盖至模式空间
N               读取匹配到的行的下一行追加之模式空间
d               删除模式空间中的行
D               如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本,并不会读取新的输入行,而使用合成的模式空间重新启动循环。如果模式空间不包含换行符,则会像发出d命令那样启动正常的新循环

例子:

sed -n 'n;p' FILE
seq 10 | sed 'N;s/\n//'
sed '1!G;h;$!d' FILE
sed 'N;D' FILE
seq 10 | sed '3h;9G;9!d'
sed '$!N;$!D' FILE
sed '$!d' FILE
sed 'G' FILE
sed 'g' FILE
sed '/^$/d;G' FILE
sed 'n;d' FILE
sed -n '1!G;h;$p' FILE
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。