一、split命令介绍

split是一个在Unix和类Unix系统（如Linux）中非常有用的命令行工具，它用于将大文件分割成较小的片段。这对于处理大型日志文件、数据传输或存储受限的情况特别有用。

二、split命令的使用帮助

2.1 split命令help帮助信息

在命令行终端中，我们使用--help查询split命令的基本帮助信息。

root@jeven01:~# split --help
Usage: split [OPTION]... [FILE [PREFIX]]
Output pieces of FILE to PREFIXaa, PREFIXab, ...;
default size is 1000 lines, and default PREFIX is 'x'.

With no FILE, or when FILE is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   generate suffixes of length N (default 2)
      --additional-suffix=SUFFIX  append an additional SUFFIX to file names
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of records per output file
  -d                      use numeric suffixes starting at 0, not alphabetic
      --numeric-suffixes[=FROM]  same as -d, but allow setting the start value
  -x                      use hex suffixes starting at 0, not alphabetic
      --hex-suffixes[=FROM]  same as -x, but allow setting the start value
  -e, --elide-empty-files  do not generate empty output files with '-n'
      --filter=COMMAND    write to shell COMMAND; file name is $FILE
  -l, --lines=NUMBER      put NUMBER lines/records per output file
  -n, --number=CHUNKS     generate CHUNKS output files; see explanation below
  -t, --separator=SEP     use SEP instead of newline as the record separator;
                            '\0' (zero) specifies the NUL character
  -u, --unbuffered        immediately copy input to output with '-n r/...'
      --verbose           print a diagnostic just before each
                            output file is opened
      --help     display this help and exit
      --version  output version information and exit

The SIZE argument is an integer and optional unit (example: 10K is 10*1024).
Units are K,M,G,T,P,E,Z,Y (powers of 1024) or KB,MB,... (powers of 1000).
Binary prefixes can be used, too: KiB=K, MiB=M, and so on.

CHUNKS may be:
  N       split into N files based on size of input
  K/N     output Kth of N to stdout
  l/N     split into N files without splitting lines/records
  l/K/N   output Kth of N to stdout without splitting lines/records
  r/N     like 'l' but use round robin distribution
  r/K/N   likewise but only output Kth of N to stdout

GNU coreutils online help: <https://www.gnu.org/software/coreutils/>
Full documentation <https://www.gnu.org/software/coreutils/split>
or available locally via: info '(coreutils) split invocation'

2.2 split命令选项解释

下面是 split 命令的帮助信息翻译成中文，并以Markdown表格的形式进行整理：

SIZE 参数

• SIZE参数是一个整数和可选单位（例如：10K表示10*1024）。
• 单位可以是K, M, G, T, P, E, Z, Y（1024的幂）或KB, MB, …（1000的幂）。
• 也可以使用二进制前缀：KiB=K, MiB=M等。

CHUNKS 参数

• N: 根据输入的大小分割成N个文件
• K/N: 将第K个输出到标准输出，总共N份
• l/N: 不拆分行/记录地分割成N个文件
• l/K/N: 不拆分行/记录地将第K个输出到标准输出，总共N份
• r/N: 类似’l’，但是使用循环分配
• r/K/N: 同上，但只输出第K个到标准输出

三、split命令的基本使用

3.1 生成测试文件

• 生成一个2M大小的测试文件

root@jeven01:/test# dd if=/dev/zero bs=1M count=2 of=test.file
2+0 records in
2+0 records out
2097152 bytes (2.1 MB, 2.0 MiB) copied, 0.00158099 s, 1.3 GB/s
root@jeven01:/test# ll -h test.file
-rw-r--r-- 1 root root 2.0M Oct  3 20:35 test.file

3.2 分割大小为200KB的小文件

使用-b选项，将刚才创建的文件分割成大小为200KB的小文件：

root@jeven01:/test# split -b 200k test.file
root@jeven01:/test# ls
test.file  xaa  xab  xac  xad  xae  xaf  xag  xah  xai  xaj  xak

3.3 切割为带数字后缀的文件

使用-a与-d选项，将大文件切割为带数字后缀的小文件。

 root@jeven01:/test# split -b 200k test.file -d -a 3
root@jeven01:/test# ll
total 4104
drwxr-xr-x  2 root root    4096 Oct  3 20:42 ./
drwxr-xr-x 22 root root    4096 Sep 24 22:37 ../
-rw-r--r--  1 root root 2097152 Oct  3 20:35 test.file
-rw-r--r--  1 root root  204800 Oct  3 20:42 x000
-rw-r--r--  1 root root  204800 Oct  3 20:42 x001
-rw-r--r--  1 root root  204800 Oct  3 20:42 x002
-rw-r--r--  1 root root  204800 Oct  3 20:42 x003
-rw-r--r--  1 root root  204800 Oct  3 20:42 x004
-rw-r--r--  1 root root  204800 Oct  3 20:42 x005
-rw-r--r--  1 root root  204800 Oct  3 20:42 x006
-rw-r--r--  1 root root  204800 Oct  3 20:42 x007
-rw-r--r--  1 root root  204800 Oct  3 20:42 x008
-rw-r--r--  1 root root  204800 Oct  3 20:42 x009
-rw-r--r--  1 root root   49152 Oct  3 20:42 x010

3.4 按行数分割文件

按行数分割文件：将test.file 文件每1000行分割成一个新的文件，新文件名为 logs_part_aa, logs_part_ab 等等

split -l 1000 test.file logs_part_

3.5 定文件名的前缀

切割后的文件名后缀以000等依次命名，前缀使用split_file。

root@jeven01:/test# split -b 200k test.file -d -a 3 split_file
root@jeven01:/test# ll -h
total 4.1M
drwxr-xr-x  2 root root 4.0K Oct  3 20:57 ./
drwxr-xr-x 22 root root 4.0K Sep 24 22:37 ../
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file000
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file001
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file002
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file003
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file004
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file005
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file006
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file007
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file008
-rw-r--r--  1 root root 200K Oct  3 20:57 split_file009
-rw-r--r--  1 root root  48K Oct  3 20:57 split_file010
-rw-r--r--  1 root root 2.0M Oct  3 20:35 test.file

四、注意事项

1. 确保日志文件完整性：

   • 当按行数或字节数分割日志文件时，请注意保持日志记录的完整性。避免将一条完整的日志记录拆分到两个不同的文件中，这可能会导致日志分析时出现误解。可以使用 -C 选项来限制每个输出文件的最大字节数，同时尽量不拆分行。

2. 合理选择分割大小：

   • 根据您的存储需求和日志处理策略，合理设置每个分割文件的大小。过大的文件可能导致处理不便，而过小的文件则会增加管理复杂度。例如，如果每天生成的日志量大约是50MB，那么可以考虑将文件分割成10MB左右的小块。

3. 使用合适的后缀命名规则：

   • 为了便于管理和识别，给分割后的文件设置清晰且有意义的前缀和后缀。通过 -a 选项指定后缀长度，并使用 -d 或 --numeric-suffixes 选项为文件添加数字后缀，这样有助于按顺序处理这些文件。

4. 考虑时间戳信息：

   • 如果日志文件包含时间戳，确保在分割过程中保留这一重要信息。这有助于后续根据时间进行快速定位和检索。可以通过 -t 选项自定义记录分隔符，以适应不同格式的时间戳。

5. 测试并验证结果：

   • 在正式应用之前，先对少量样本数据进行分割测试，检查输出文件是否符合预期。确保所有配置正确无误后再对完整日志执行操作。这一步骤可以帮助您提前发现可能的问题并及时调整方案。

6. 备份原始日志文件：

   • 在进行任何切割操作之前，务必先备份原始日志文件。虽然 split 命令不会修改源文件，但备份可以防止意外删除或其他人为错误导致的数据丢失。