[华为云在线课程][Linux文件查找和压缩Sed文本三剑客处理工具实战][第一章文件查找][学习笔记]
在文件系统上查找符合条件的文件
文件查找:
- 非实时查找(数据库查找):locate
- 实时查找:find
locate
1,locate查询系统上预建的文件索引数据库/var/lib/mlocate/mlocate.db
2,索引的构建是在系统较为空闲时自动进行(周期性任务),执行updatedb可以更新数据库
3,索引构建过程需要遍历整个根文件系统,很消耗资源
4,locate和updatedb命令来自mlocate包
工作特点:
- 查找速度快
- 模糊查找
- 非实时查找
- 搜索的是文件的全路径,不仅仅是文件名
- 可能只搜索用户具备读取和执行权限的目录
格式:
locate [OPTION]... [PATTERN]...
常用选项
-i 不区分大小写的搜索
-n N 只列举前N个匹配项目
-r 使用基本正则表达式
例子:
# 搜索名称或路径中包含"conf"的文件
locate conf
# 使用Regex来搜索以".conf"结尾的文件
locate -r '\.conf$'
例子:locatedb创建数据库
[root@localhost ~]# locate conf | head -n3
/boot/config-3.10.0-1160.el7.x86_64
/boot/grub2/i386-pc/configfile.mod
/etc/GeoIP.conf
[root@localhost ~]# updatedb
[root@localhost ~]# ll /var/lib/mlocate/mlocate.db
-rw-r----- 1 root slocate 3119652 Apr 12 17:08 /var/lib/mlocate/mlocate.db
[root@localhost ~]# locate -n3 conf
/boot/config-3.10.0-1160.el7.x86_64
/boot/grub2/i386-pc/configfile.mod
/etc/GeoIP.conf
例子:文件新创建和删除,无法马上更新locate数据库
[root@localhost Code]# touch test.log
[root@localhost Code]# locate test.log
[root@localhost Code]# updatedb
[root@localhost Code]# locate test.log
/home/hello/Code/test.log
例子:
[root@localhost Code]# locate -n10 -ir '\.conf$'
/etc/GeoIP.conf
/etc/asound.conf
/etc/brltty.conf
/etc/chrony.conf
/etc/dleyna-server-service.conf
/etc/dnsmasq.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/fprintd.conf
/etc/fuse.conf
find
find是实时查找工具,通过遍历指定路径完成文件查找
工作特点:
- 查找速度略慢
- 精确查找
- 实时查找
- 查找条件丰富
- 可能只搜索用户具备读取和执行权限的目录
格式:
find [OPTION]... [查找路径] [查找条件] [处理动作]
查找路径:指定具体目标路径;默认为当前目录
查找条件:指定的查找标准,可以文件名、大小、类型、权限等标准进行;默认为找出指定路径下的所有文件
处理动作:对符合条件的文件做操作,默认输出至屏幕
指定搜索目录层级
-maxdepth level 最大搜索目录深度,指定目录下的文件为第1级
-mindepth level 最小搜索目录深度
例子:
[root@localhost Code]# find /etc/ -maxdepth 2 -mindepth 2 | head -5
/etc/fonts/conf.d
/etc/fonts/fonts.conf
/etc/pki/rpm-gpg
/etc/pki/ca-trust
/etc/pki/java
对每个目录先处理目录内的文件,再处理目录本身
-depth
例子:
tree /data/test
find /data/test
find /data/test -depth
根据文件名和inode查找
-name "文件名称":支持使用glob,如:*,?,[],[^],通配符要加双引号引起来
-iname "文件名称":不区分字母大小写
-inum n:按inode号查找
-samefile name:相同inode号的文件
-links n:链接数为n的文件
-regex "PATTERN":以PATTERN匹配整个文件路径,而非文件名称
例子:
find -name snow.png
find -iname snow.png
find / -name ".txt"
find /var -name "log*"
[root@localhost Code]# find -regex ".*\.txt$"
./user.txt
./pass.txt
根据属主、属组查找
-user USERNAME:查找属主为指定用户(UID)的文件
-group GRPNAME:查找属组为指定组(GID)的文件
-uid UserID:查找属主为指定的UID号的文件
-gid GroupID:查找属组为指定的GID号的文件
-nouser:查找没有属主的文件
-nogroup:查找没有属组的文件
根据文件类型查找
-type TYPE
TYPE可以是以下形式:
f:普通文件
d:目录文件
l:符号链接文件
s:套接字文件
b:块设备文件
c:字符设备文件
p:管道文件
例子:
# 查看/home的目录
find /home -type d -ls
空文件或目录
-empty
例子:
[root@localhost Code]# mkdir emtmp
[root@localhost Code]# find -type d -empty
./emtmp
[root@localhost Code]# find -type f -empty
./test.log
./opt/a.log
./opt/b.log
./opt/c.log
./opt/d.log
组合条件
与:-a,默认多个条件是与关系
或:-o
非:-not !
例子:
[root@localhost ~]# find /etc/ -type d -o -type l | wc -l
1056
[root@localhost ~]# find /etc/ -type d -o -type l -ls | wc -l
309
[root@localhost ~]# find /etc/ \(-type d -o -type l\) -ls | wc -l
find: Arguments to -type should contain only one letter
0
[root@localhost ~]# find /etc/ \( -type d -o -type l \) -ls | wc -l
1056
德摩根定律:
- (非A)或(非B)=非(A且B)
- (非A)且(非B)=非(A或B)
例子:
!A -a !B = !(A -o B)
!A -o !B = !(A -a B)
例子:
find -user joe -group joe
find -user joe -not -group joe
find -user joie -o user jane
find -not \( -user joe -o -user jane \)
find / -user joe -o -uid 500
例子:
# 找出/tmp目录下,属主不是root,且文件名不以f开头的文件
find /tmp \( -not -user root -a -not -name 'f*' \) -ls
find /tmp -not \( -user root -o -name 'f*' \) -ls
排除目录
例子:
# 查找/etc/下,除/etc/sane.d目录的其他所有.conf后缀的文件
find /etc -path '/etc/sane.d' -a -prune -o -name '*.conf'
# 查找/etc/下,除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
find /etc/ \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name "*.conf"
# 排除/proc和/sys目录
find / \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -l
根据文件大小来查找
-size [+|-]#UNIT 常用单位:k,M,G,c(byte),注意大小写敏感
#UNIT 表示(#-1,#],如:6k表示(5k,6k]
-#UNIT 表示[0,#-1],如:-6k表示[0,5k]
+#UNIT 表示(#,∞),如:+6k表示(6k,∞)
例子:
find / -size +10G
根据时间戳
# 以"天"为单位
-atime [+|-]#
# 表示[#,#+1)
+# 表示[#+1,∞]
-# 表示[0,#)
-mtime
-ctime
# 以"分钟"为单位
-amin
-mmin
-cmin
根据权限查找
-perm [/|-]MODE
MODE:精确权限匹配
/MODE:任何一类(u,g,o)对象的权限中只要能一位匹配即可,或关系,+ 从CentOS 7开始淘汰
-MODE:每一类对象都必须同时拥有指定权限,与关系
0:表示不关注
说明:
find -perm 755 会匹配权限模式恰好是755的文件
只要当任意人有写权限时,find -perm /222就会匹配
只有当每个人都有写权限时,find -perm -222才会匹配
只有当其他人(other)有写权限时,find -perm -002才会匹配
正则表达式
-regextype type
Changes the regular expression syntax understood by -regex and -iregex tests which occur later on the command line. Currently-implemented types are emacs (this is the default),posix-awk,posix-basic,posix-egrep and posix-extended.
-regex pattern
File name matches regular expression pattern. This is a match on the whole path, not a search. For example, to match a file named `./fubar3`, you can use the regular expression. `.*bar.` or `.*b.*3`, but not `f.*r3`. The regular expressions understood by find are by default Emacs Regular Expressions, but this can be changed with the -regextype option.
例子:
find /you/find/dir -regextype posix-extended -regex 'regex'
处理动作
-print:默认的处理动作,显示至屏幕
-ls:类似于对查找到的文件执行"ls -dils"命令格式输出
-fls file:查找到的所有文件的长格式信息保存到指定文件中,相当于 -ls > file
-delete:删除查找到的文件,慎用
-ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令,对于每个文件执行命令之前,都会交互式要求用户确认
-exec COMMAND {} \; 对查找的每个文件执行由COMMAND指定的命令
{}:用于引用查找到的文件名称自身
例子:
# 备份配置文件,添加.orig这个扩展名
find -name '.conf' -exec cp {} {}.orig \;
# 提示删除存在时间超过3天以上的joe的临时文件
find /tmp -ctime +3 -user joe -ok rm {} \;
# 在主目录中寻找可被其他用户写入的文件
find ~ -perm -002 -exec chmod o-w {} \;
# 查找/data下的权限为644,后缀为sh的普通文件,增加执行权限
find /data -type f -perm 644 -name '*.sh' -exec 755 {} \;
参数替换xargs
由于很多命令不支持管道|来传递参数,xargs用于产生某个命令的参数,xargs可以读入stdin的数据,并且以空格符或回车符将stdin的数据分隔成为参数
另外,许多命令不能接受过多参数,命令执行可能会失败,xargs可以解决
注意:文件名或者是其他意义的名词内含有空格符的情况
find经常和xargs命令进行组合,形式如下:
find | xargs COMMAND
例子:
# 显示10个数字
[root@localhost Code]# seq 10 | xargs
1 2 3 4 5 6 7 8 9 10
# 删除当前目录下的大量文件
ls | xargs rm
#
[root@localhost opt]# ls | find -name "*.log" | xargs ls -sl
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./a.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./b.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./c.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./d.log
[root@localhost opt]# echo {1..10} |xargs
1 2 3 4 5 6 7 8 9 10
[root@localhost opt]# echo {1..10}|xargs -n1
1
2
3
4
5
6
7
8
9
10
[root@localhost opt]# echo {1..10}|xargs -n2
1 2
3 4
5 6
7 8
9 10
[root@localhost opt]# echo {1..10}|xargs -n3
1 2 3
4 5 6
7 8 9
10
# 批量创建和删除用户
[root@localhost opt]# echo user{1..5}|xargs -n1 useradd
[root@localhost opt]# echo user{1..5}|xargs -n1 userdel -r
# 这个命令是错误的
find /sbin/ -perm /700 | ls -l
# 查找有特殊权限的文件,并排序
find /bin/ -perm /7000 | xargs ls -Sl
# 此命令和上面有何区别?
find /bin/ -perm -7000 | xargs ls -Sl
[root@localhost ~]# find /bin/ -perm /7000 | xargs ls -Sl
-rwsr-xr-x. 1 root root 2447304 Apr 1 2020 /bin/Xorg
---x--s--x. 1 root nobody 382216 Aug 9 2019 /bin/ssh-agent
---s--x---. 1 root stapusr 212080 Oct 14 2020 /bin/staprun
---s--x--x. 1 root root 147336 Oct 1 2020 /bin/sudo
-rwsr-xr-x. 1 root root 78408 Aug 9 2019 /bin/gpasswd
-rwsr-xr-x. 1 root root 73888 Aug 9 2019 /bin/chage
-rwsr-xr-x. 1 root root 57656 Aug 9 2019 /bin/crontab
-rwsr-xr-x. 1 root root 53048 Oct 31 2018 /bin/at
-rwsr-xr-x. 1 root root 44264 Oct 1 2020 /bin/mount
-rwsr-xr-x. 1 root root 41936 Aug 9 2019 /bin/newgrp
-rwx--s--x. 1 root slocate 40520 Apr 11 2018 /bin/locate
-rwsr-xr-x. 1 root root 32128 Oct 1 2020 /bin/su
-rwsr-xr-x. 1 root root 32096 Oct 31 2018 /bin/fusermount
-rwsr-xr-x. 1 root root 31984 Oct 1 2020 /bin/umount
-rwsr-xr-x. 1 root root 27856 Apr 1 2020 /bin/passwd
-rws--x--x. 1 root root 23968 Oct 1 2020 /bin/chfn
-rws--x--x. 1 root root 23880 Oct 1 2020 /bin/chsh
-rwsr-xr-x. 1 root root 23576 Apr 1 2020 /bin/pkexec
-rwxr-sr-x. 1 root tty 19544 Oct 1 2020 /bin/write
-r-xr-sr-x. 1 root tty 15344 Jun 10 2014 /bin/wall
[root@localhost ~]# find /bin/ -perm -7000 | xargs ls -Sl
total 12
-rw-r--r--. 1 root root 1967 Mar 4 20:56 initial-setup-ks.cfg
-rw-------. 1 root root 1919 Mar 4 20:55 anaconda-ks.cfg
drwxr-xr-x. 3 root root 106 Mar 20 19:05 data
drwxr-xr-x 2 root root 6 Apr 11 13:48 Desktop
drwxr-xr-x 2 root root 6 Apr 11 13:48 Documents
drwxr-xr-x 2 root root 6 Apr 11 13:48 Downloads
drwxr-xr-x 2 root root 6 Apr 11 13:48 Music
drwxr-xr-x 2 root root 6 Apr 11 13:48 Pictures
drwxr-xr-x 2 root root 6 Apr 11 13:48 Public
drwxr-xr-x 2 root root 6 Apr 11 13:48 Templates
drwxr-xr-x 2 root root 6 Apr 11 13:48 Videos
-rw-r--r-- 1 root root 5 Apr 11 19:03 pass.txt
# 以字符nul分隔
find -type f -name '*.txt' -print0 | xargs -0 rm
# 并发执行多个进程
seq 100 | xargs -i -P10 wget -P /data http://10.0.0.8/{}.html
# 并行下载视频
yum install -y python3-pip
pip3 install you-get
seq 10 | xargs -i -P3 you-get https://www.bilibili.com/xxx
- 点赞
- 收藏
- 关注作者
评论(0)