[华为云在线课程][Linux文件查找和压缩Sed文本三剑客处理工具实战][第一章文件查找][学习笔记]

举报
John2021 发表于 2022/04/13 11:09:56 2022/04/13
【摘要】 在文件系统上查找符合条件的文件文件查找:非实时查找(数据库查找):locate实时查找:find locate1,locate查询系统上预建的文件索引数据库/var/lib/mlocate/mlocate.db2,索引的构建是在系统较为空闲时自动进行(周期性任务),执行updatedb可以更新数据库3,索引构建过程需要遍历整个根文件系统,很消耗资源4,locate和updatedb命令来自m...

在文件系统上查找符合条件的文件
文件查找:

  • 非实时查找(数据库查找):locate
  • 实时查找:find

locate

1,locate查询系统上预建的文件索引数据库/var/lib/mlocate/mlocate.db
2,索引的构建是在系统较为空闲时自动进行(周期性任务),执行updatedb可以更新数据库
3,索引构建过程需要遍历整个根文件系统,很消耗资源
4,locate和updatedb命令来自mlocate包
工作特点:

  • 查找速度快
  • 模糊查找
  • 非实时查找
  • 搜索的是文件的全路径,不仅仅是文件名
  • 可能只搜索用户具备读取和执行权限的目录

格式:

locate [OPTION]... [PATTERN]...

常用选项

-i          不区分大小写的搜索
-n N        只列举前N个匹配项目
-r          使用基本正则表达式

例子:

# 搜索名称或路径中包含"conf"的文件
locate conf
# 使用Regex来搜索以".conf"结尾的文件
locate -r '\.conf$'

例子:locatedb创建数据库

[root@localhost ~]# locate conf | head -n3
/boot/config-3.10.0-1160.el7.x86_64
/boot/grub2/i386-pc/configfile.mod
/etc/GeoIP.conf
[root@localhost ~]# updatedb
[root@localhost ~]# ll /var/lib/mlocate/mlocate.db
-rw-r----- 1 root slocate 3119652 Apr 12 17:08 /var/lib/mlocate/mlocate.db
[root@localhost ~]# locate -n3 conf
/boot/config-3.10.0-1160.el7.x86_64
/boot/grub2/i386-pc/configfile.mod
/etc/GeoIP.conf

例子:文件新创建和删除,无法马上更新locate数据库

[root@localhost Code]# touch test.log
[root@localhost Code]# locate test.log
[root@localhost Code]# updatedb
[root@localhost Code]# locate test.log
/home/hello/Code/test.log

例子:

[root@localhost Code]# locate -n10 -ir '\.conf$'
/etc/GeoIP.conf
/etc/asound.conf
/etc/brltty.conf
/etc/chrony.conf
/etc/dleyna-server-service.conf
/etc/dnsmasq.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/fprintd.conf
/etc/fuse.conf

find

find是实时查找工具,通过遍历指定路径完成文件查找
工作特点:

  • 查找速度略慢
  • 精确查找
  • 实时查找
  • 查找条件丰富
  • 可能只搜索用户具备读取和执行权限的目录

格式:

find [OPTION]... [查找路径] [查找条件] [处理动作]

查找路径:指定具体目标路径;默认为当前目录
查找条件:指定的查找标准,可以文件名、大小、类型、权限等标准进行;默认为找出指定路径下的所有文件
处理动作:对符合条件的文件做操作,默认输出至屏幕

指定搜索目录层级

-maxdepth level         最大搜索目录深度,指定目录下的文件为第1-mindepth level         最小搜索目录深度

例子:

[root@localhost Code]# find /etc/ -maxdepth 2 -mindepth 2 | head -5
/etc/fonts/conf.d
/etc/fonts/fonts.conf
/etc/pki/rpm-gpg
/etc/pki/ca-trust
/etc/pki/java

对每个目录先处理目录内的文件,再处理目录本身

-depth

例子:

tree /data/test
find /data/test
find /data/test -depth

根据文件名和inode查找

-name "文件名称":支持使用glob,如:*?[][^],通配符要加双引号引起来
-iname "文件名称":不区分字母大小写
-inum n:按inode号查找
-samefile name:相同inode号的文件
-links n:链接数为n的文件
-regex "PATTERN":以PATTERN匹配整个文件路径,而非文件名称

例子:

find -name snow.png
find -iname snow.png
find / -name ".txt"
find /var -name "log*"

[root@localhost Code]# find -regex ".*\.txt$"
./user.txt
./pass.txt

根据属主、属组查找

-user USERNAME:查找属主为指定用户(UID)的文件
-group GRPNAME:查找属组为指定组(GID)的文件
-uid UserID:查找属主为指定的UID号的文件
-gid GroupID:查找属组为指定的GID号的文件
-nouser:查找没有属主的文件
-nogroup:查找没有属组的文件

根据文件类型查找

-type TYPE
TYPE可以是以下形式:
f:普通文件
d:目录文件
l:符号链接文件
s:套接字文件
b:块设备文件
c:字符设备文件
p:管道文件

例子:

# 查看/home的目录
find /home -type d -ls

空文件或目录

-empty
例子:

[root@localhost Code]# mkdir emtmp
[root@localhost Code]# find -type d -empty
./emtmp
[root@localhost Code]# find -type f -empty
./test.log
./opt/a.log
./opt/b.log
./opt/c.log
./opt/d.log

组合条件

与:-a,默认多个条件是与关系
或:-o
非:-not !

例子:

[root@localhost ~]# find /etc/ -type d -o -type l | wc -l
1056
[root@localhost ~]# find /etc/ -type d -o -type l -ls | wc -l
309
[root@localhost ~]# find /etc/ \(-type d -o -type l\) -ls | wc -l
find: Arguments to -type should contain only one letter
0
[root@localhost ~]# find /etc/ \( -type d -o -type l \) -ls | wc -l
1056

德摩根定律:

  • (非A)或(非B)=非(A且B)
  • (非A)且(非B)=非(A或B)

例子:

!A -a !B = !(A -o B)
!A -o !B = !(A -a B)

例子:

find -user joe -group joe
find -user joe -not -group joe
find -user joie -o user jane
find -not \( -user joe -o -user jane \)
find / -user joe -o -uid 500

例子:

# 找出/tmp目录下,属主不是root,且文件名不以f开头的文件
find /tmp \( -not -user root -a -not -name 'f*' \) -ls
find /tmp -not \( -user root -o -name 'f*' \) -ls

排除目录

例子:

# 查找/etc/下,除/etc/sane.d目录的其他所有.conf后缀的文件
find /etc -path '/etc/sane.d' -a -prune -o -name '*.conf'

# 查找/etc/下,除/etc/sane.d和/etc/fonts两个目录的所有.conf后缀的文件
find /etc/ \( -path "/etc/sane.d" -o -path "/etc/fonts" \) -a -prune -o -name "*.conf"

# 排除/proc和/sys目录
find / \( -path "/sys" -o -path "/proc" \) -a -prune -o -type f -a -mmin -l

根据文件大小来查找

-size [+|-]#UNIT        常用单位:k,MG,c(byte),注意大小写敏感
#UNIT                   表示(#-1,#],如:6k表示(5k,6k]
-#UNIT                  表示[0,#-1],如:-6k表示[0,5k]
+#UNIT                  表示(#,),如:+6k表示(6k,)

例子:

find / -size +10G

根据时间戳

# 以"天"为单位
-atime [+|-]#

#           表示[#,#+1)
+#          表示[#+1,]
-#          表示[0,#)

-mtime
-ctime

# 以"分钟"为单位
-amin
-mmin
-cmin

根据权限查找

-perm [/|-]MODE

MODE:精确权限匹配
/MODE:任何一类(u,g,o)对象的权限中只要能一位匹配即可,或关系,+ 从CentOS 7开始淘汰
-MODE:每一类对象都必须同时拥有指定权限,与关系
0:表示不关注

说明:
find -perm 755 会匹配权限模式恰好是755的文件
只要当任意人有写权限时,find -perm /222就会匹配
只有当每个人都有写权限时,find -perm -222才会匹配
只有当其他人(other)有写权限时,find -perm -002才会匹配

正则表达式

-regextype type
    Changes the regular expression syntax understood by -regex and -iregex tests which occur later on the command line. Currently-implemented types are emacs (this is the default),posix-awk,posix-basic,posix-egrep and posix-extended.
-regex pattern
    File name matches regular expression pattern. This is a match on the whole path, not a search. For example, to match a file named `./fubar3`, you can use the regular expression. `.*bar.` or `.*b.*3`, but not `f.*r3`. The regular expressions understood by find are by default Emacs Regular Expressions, but this can be changed with the -regextype option.

例子:

find /you/find/dir -regextype posix-extended -regex 'regex'

处理动作

-print:默认的处理动作,显示至屏幕
-ls:类似于对查找到的文件执行"ls -dils"命令格式输出
-fls file:查找到的所有文件的长格式信息保存到指定文件中,相当于 -ls > file
-delete:删除查找到的文件,慎用
-ok COMMAND {} \; 对查找到的每个文件执行由COMMAND指定的命令,对于每个文件执行命令之前,都会交互式要求用户确认
-exec COMMAND {} \; 对查找的每个文件执行由COMMAND指定的命令
{}:用于引用查找到的文件名称自身

例子:

# 备份配置文件,添加.orig这个扩展名
find -name '.conf' -exec cp {} {}.orig \;
# 提示删除存在时间超过3天以上的joe的临时文件
find /tmp -ctime +3 -user joe -ok rm {} \;
# 在主目录中寻找可被其他用户写入的文件
find ~ -perm -002 -exec chmod o-w {} \;
# 查找/data下的权限为644,后缀为sh的普通文件,增加执行权限
find /data -type f -perm 644 -name '*.sh' -exec 755 {} \;

参数替换xargs

由于很多命令不支持管道|来传递参数,xargs用于产生某个命令的参数,xargs可以读入stdin的数据,并且以空格符或回车符将stdin的数据分隔成为参数
另外,许多命令不能接受过多参数,命令执行可能会失败,xargs可以解决
注意:文件名或者是其他意义的名词内含有空格符的情况
find经常和xargs命令进行组合,形式如下:

find | xargs COMMAND

例子:

# 显示10个数字
[root@localhost Code]# seq 10 | xargs
1 2 3 4 5 6 7 8 9 10
# 删除当前目录下的大量文件
ls | xargs rm
#
[root@localhost opt]# ls | find -name "*.log" | xargs ls -sl
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./a.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./b.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./c.log
0 -rw-r--r-- 1 root root 0 Apr 12 18:13 ./d.log

[root@localhost opt]# echo {1..10} |xargs
1 2 3 4 5 6 7 8 9 10
[root@localhost opt]# echo {1..10}|xargs -n1
1
2
3
4
5
6
7
8
9
10
[root@localhost opt]# echo {1..10}|xargs -n2
1 2
3 4
5 6
7 8
9 10
[root@localhost opt]# echo {1..10}|xargs -n3
1 2 3
4 5 6
7 8 9
10

# 批量创建和删除用户
[root@localhost opt]# echo user{1..5}|xargs -n1 useradd
[root@localhost opt]# echo user{1..5}|xargs -n1 userdel -r

# 这个命令是错误的
find /sbin/ -perm /700 | ls -l

# 查找有特殊权限的文件,并排序
find /bin/ -perm /7000 | xargs ls -Sl
# 此命令和上面有何区别?
find /bin/ -perm -7000 | xargs ls -Sl

[root@localhost ~]# find /bin/ -perm /7000 | xargs ls -Sl
-rwsr-xr-x. 1 root root    2447304 Apr  1  2020 /bin/Xorg
---x--s--x. 1 root nobody   382216 Aug  9  2019 /bin/ssh-agent
---s--x---. 1 root stapusr  212080 Oct 14  2020 /bin/staprun
---s--x--x. 1 root root     147336 Oct  1  2020 /bin/sudo
-rwsr-xr-x. 1 root root      78408 Aug  9  2019 /bin/gpasswd
-rwsr-xr-x. 1 root root      73888 Aug  9  2019 /bin/chage
-rwsr-xr-x. 1 root root      57656 Aug  9  2019 /bin/crontab
-rwsr-xr-x. 1 root root      53048 Oct 31  2018 /bin/at
-rwsr-xr-x. 1 root root      44264 Oct  1  2020 /bin/mount
-rwsr-xr-x. 1 root root      41936 Aug  9  2019 /bin/newgrp
-rwx--s--x. 1 root slocate   40520 Apr 11  2018 /bin/locate
-rwsr-xr-x. 1 root root      32128 Oct  1  2020 /bin/su
-rwsr-xr-x. 1 root root      32096 Oct 31  2018 /bin/fusermount
-rwsr-xr-x. 1 root root      31984 Oct  1  2020 /bin/umount
-rwsr-xr-x. 1 root root      27856 Apr  1  2020 /bin/passwd
-rws--x--x. 1 root root      23968 Oct  1  2020 /bin/chfn
-rws--x--x. 1 root root      23880 Oct  1  2020 /bin/chsh
-rwsr-xr-x. 1 root root      23576 Apr  1  2020 /bin/pkexec
-rwxr-sr-x. 1 root tty       19544 Oct  1  2020 /bin/write
-r-xr-sr-x. 1 root tty       15344 Jun 10  2014 /bin/wall
[root@localhost ~]# find /bin/ -perm -7000 | xargs ls -Sl
total 12
-rw-r--r--. 1 root root 1967 Mar  4 20:56 initial-setup-ks.cfg
-rw-------. 1 root root 1919 Mar  4 20:55 anaconda-ks.cfg
drwxr-xr-x. 3 root root  106 Mar 20 19:05 data
drwxr-xr-x  2 root root    6 Apr 11 13:48 Desktop
drwxr-xr-x  2 root root    6 Apr 11 13:48 Documents
drwxr-xr-x  2 root root    6 Apr 11 13:48 Downloads
drwxr-xr-x  2 root root    6 Apr 11 13:48 Music
drwxr-xr-x  2 root root    6 Apr 11 13:48 Pictures
drwxr-xr-x  2 root root    6 Apr 11 13:48 Public
drwxr-xr-x  2 root root    6 Apr 11 13:48 Templates
drwxr-xr-x  2 root root    6 Apr 11 13:48 Videos
-rw-r--r--  1 root root    5 Apr 11 19:03 pass.txt


# 以字符nul分隔
find -type f -name '*.txt' -print0 | xargs -0 rm

# 并发执行多个进程
seq 100 | xargs -i -P10 wget -P /data  http://10.0.0.8/{}.html

# 并行下载视频
yum install -y python3-pip
pip3 install you-get
seq 10 | xargs -i -P3 you-get https://www.bilibili.com/xxx
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。