【Linux】从open到write:系统文件I/O 的奥秘与实战指南

举报
Yui_ 发表于 2024/12/07 16:05:44 2024/12/07
【摘要】 【Linux】从open到write:系统文件I/O 的奥秘与实战指南

1.经典回顾C文件接口

在使用C语言时,我们需要访问文件通常会用到fopenfwrite、和fread还有fclose等函数。

1.2 fwrite

比如此时我需要往文件中写入一些信息:

#include <stdio.h>
#include <string.h>

int main()
{
    FILE* fp = fopen("test.txt","w");
    if(fp == NULL)
    {
        perror("fopen failed");
        return 1;
    }
    const char* str = "i am yui~\n";
    int len = strlen(str);
    int num = 5;
    while(num--)
    {
        fwrite(str,len,1,fp);
    }
    fclose(fp);
    return 0;
}

执行结果:

ubuntu@VM-20-9-ubuntu:~/FILETEST$ cat test.txt
i am yui~
i am yui~
i am yui~
i am yui~
i am yui~

1.2 fread

下面再来读一读文件中的内容:

#include <stdio.h>
#include <string.h>

int main()
{
    FILE* fp = fopen("test.txt","r");
    if(!fp)
    {
        perror("fopen failed");
        return 1;
    }
    const char* str = "i am yui~\n";
    char s[1024];
    int len = strlen(str);
    while(1)
    {

        ssize_t n  = fread(s,1,len,fp);
        if(n == len)
        {
            s[len] = 0;
            printf("%s",s);
        }

        if(feof(fp))
            break;
    }
        
    return 0;
}

输出结果:

i am yui~
i am yui~
i am yui~
i am yui~
i am yui~

2. 系统文件I/O

除了利用上述C接口,我们还可以采用系统接口来访问文件。

系统文件 I/O(输入/输出)是指在操作系统层面进行文件的读写操作。在 Linux 和其他类 Unix 系统中,系统文件 I/O 通常通过系统调用(system call)完成。与 C 标准库的文件 I/O 函数(如 fopenfreadfwrite)相比,系统文件 I/O 提供了更底层的控制和更高的效率,但操作也稍显复杂。

为了更好的理解系统文件I/O,我会用系统接口来实现上面的功能,并进行讲解。

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <fcntl.h>
#include <sys/stat.h>

int main()
{
    umask(0);//去除限制,防止后续干扰
    int fd  = open("myfile",O_WRONLY|O_CREAT,0644);
    if(fd<0)
    {
        perror("open failed");
        return 1;
    }
    int num = 5;
    const char* str = "i am yui\n";
    int len = strlen(str);
    while(num--)
    {
        write(fd,str,len);
    }
    close(fd);
    return 0;
}

2 open函数

因为现在我们需要用系统接口来打开文件,那么我们会用到open函数而不是fopen函数。
open 函数是 Unix 和类 Unix 操作系统中的一个系统调用,用于打开文件并返回一个文件描述符。这个文件描述符用于后续的文件操作,如读、写、关闭等。相比 C 标准库的 fopen 函数,open 提供了更底层的控制,更适合系统级编程。

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int open(const char *pathname, int flags, mode_t mode);

2.1 参数介绍:

  • pathname:要打开的文件的路径。
  • flags:指定文件打开模式和行为的标志,决定文件的打开方式。
  • mode:新文件的权限掩码,仅在O_CREAT标志创建文件时生效,指定文件的访问权限。
    这之中的flags要好好聊聊。
  • 访问模式(必须包含一个):
    • O_RDONLY:只读模式打开文件。
    • O_WRONLY:只写模式打开文件。
    • O_RDWR:读写模式打开文件。
      O_RDONLYO_WRONLYO_RDWR 中只能选择一个,它们控制文件的基础读写权限。
  • 文件创建和控制
    • O_CREAT:若文件不存在,则创建文件。此标志常与 mode 参数一起使用来指定文件的权限。
    • O_EXCL:必须与 O_CREAT 组合使用。如果文件已存在,则返回错误,避免重复创建。这种组合常用于创建唯一文件。
    • O_TRUNC:如果文件存在,并且是以写模式(O_WRONLYO_RDWR)打开,文件长度会被截断为 0。
    • O_APPEND:追加模式,写入操作时,文件指针会自动移动到文件末尾,适合日志记录等追加写入的场景。
  • 非阻塞和同步控制
    • O_NONBLOCK:以非阻塞模式打开文件。对一些特殊文件(如设备文件)有效,适合需要立即返回结果的场景。
    • O_SYNC:同步写入模式,确保数据立即写入磁盘。每次 write 操作都不会缓存到内存,而是直接刷新到存储设备,适合数据持久性要求高的场景。
    • O_DSYNC:数据同步,类似 O_SYNC,但只同步数据而不包括文件元数据(如最后修改时间)。
    • O_RSYNC:同步读模式,和 O_SYNC 类似,但影响的是 read 操作。
      我们需要选择合适的功能将它们进行|的操作,因为底层是用状态压缩来实现的,通过位运算(位掩码)来实现,使得每一个标志可以独立设置或清除,而不需要为每种组合单独存储。

在下面的写入操作我们只需要选择O_WRONLY|O_CREAT就可以了。

2.2 返回值(文件描述符)

  • 成功时,open 返回一个文件描述符(非负整数),用于后续的文件操作。
  • 失败时返回 -1,并设置 errno 来指示错误原因。
    这里的返回值也很有说法,
    文件描述符(File Descriptor, FD)是操作系统分配的一个整数,用于表示每一个打开的文件或 I/O 资源。在 Unix 和类 Unix 系统(如 Linux)中,文件描述符是进程和内核之间进行文件或资源操作的桥梁,几乎所有的 I/O 操作都是通过文件描述符来完成的。
    文件描述符是一个非负整数,每个进程有一个文件描述符表来管理文件描述符。打开文件时,操作系统会分配一个文件描述符,用于标识这个文件。该文件描述符可以用于后续的读、写、关闭操作。文件描述符不仅用于文件,也可以表示其他 I/O 资源,如管道、网络套接字、设备文件等。
    每个进程在启动时,通常有三个默认的文件描述符,它们称为标准文件描述符:
  1. 标准输入(stdin):文件描述符为 0,用于从用户或输入源读取数据。
  2. 标准输出(stdout):文件描述符为 1,用于向终端或输出源输出数据。
  3. 标准错误(stderr):文件描述符为 2,用于向终端输出错误信息。
    0,1,2对应的物理设备一般是:键盘,显示器,显示器。
    了解完这些后,我们就可以直接利用文件描述符来直接向显示屏输出数据了。
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>
#include <unistd.h>

int main()
{
    char buf[1024];
    ssize_t s = read(0,buf,sizeof(buf));//从键盘读入数据
    if(s>0)
    {
        buf[s] = 0;
        write(1,buf,strlen(buf));
        write(2,buf,strlen(buf));
    }

    return 0;
}

//运行结果
/**
ubuntu@VM-20-9-ubuntu:~/FILETEST$ ./a.out 
hello world
hello world
hello world

*/

从这段代码我们也可以更加清晰地认识到Linux下的一切皆文件。
一些底层知识:
文件描述符是从0开始地小整数,当我们打开文件时,操作系统在内存中要创建相对应地数据结构来描述目标文件,于是就有了file结构体来表示一个已经打开地文件对象。而进程执行open系统调用,必须让进程和文件关联起来。每一个进程都有一个指针*file,指向一张表file_struct该表最重要地部分包含一个指针数组,每个元素都是一个指向文件地指针。本质上文件描述符就是该数组地下标,所以只要拿着文件描述符就可以找到对应地文件。

2.2.1 文件描述符的分配规则

先看代码:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>

int main()
{
    int fd = open("myfile",O_RDONLY);//只读模式打开
    if(fd>0)
    {
        printf("%d\n",fd);
    }
    close(fd);
    return 0;
}
//运行结果:
/*
ubuntu@VM-20-9-ubuntu:~/FILETEST$ ./a.out 
3
*/

结果是3。
那么当我们关闭0这个文件描述符试试看呢?

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>

int main()
{
    close(0);//关闭文件描述符0
    int fd = open("myfile",O_RDONLY);//只读模式打开
    if(fd<0)
    {
        perror("open");
        return 1;
    }
    printf("%d\n",fd);
    close(fd);
    return 0;
}
//打印结果:
/*
ubuntu@VM-20-9-ubuntu:~/FILETEST$ ./a.out 
0
*/

结果是0,你猜到了吗。
由此可见,文件描述符的分配规则:在file_struct数组当中,找到当前没有直接使用的最小的一个下标,作为新的文件描述符。
最后在来看看重定向

2.2.2 重定向

现在我们将标志输出1给关闭了,然后再打开一个文件再往里面写点东西,看看会发生什么。

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>

int main()
{
    close(1);//关闭文件描述符1
    int fd = open("myfile",O_WRONLY|O_CREAT,0644);//写模式打开
    if(fd<0)
    {
        perror("open");
        return 1;
    }
    printf("fd:%d\n",fd);
    fflush(stdout);
    close(fd);
    return 0;
}

打开myfile发现,文件中存在fd:1
也是就说,本该再显示屏中显示的内容被写进了myfile文件。我们把这种现象叫做重定向。常见的重定向>, >>, <
重定向的本质:

3. write函数

write 函数是 Unix 和 Linux 系统中进行文件写入操作的系统调用,用于将数据从用户空间的缓冲区写入到文件或设备(例如文件、管道、网络套接字)中。write 是一种底层 I/O 操作,它绕过标准 I/O 缓冲区,直接写入文件描述符指向的目标,常用于处理系统资源的原始数据读写。
语法

ssize_t write(int fd, const void *buf, size_t count);

参数说明

  • fd:文件描述符,表示要写入的目标文件或设备(例如 STDOUT_FILENO 表示标准输出)。
  • buf:缓冲区指针,指向要写入的数据。
  • count:要写入的字节数,指定从 buf 中读取多少字节写入 fd
    返回值
  • 成功时,返回实际写入的字节数(ssize_t 类型)。
  • 失败时,返回 -1,并设置 errno 变量来指示错误原因。

4. read函数

read 是 Unix 和 Linux 系统中的一个系统调用,用于从文件或其他输入资源(如管道、网络套接字等)中读取数据到用户提供的缓冲区中。与 write 相对应,read 直接从文件描述符中获取数据,不经过标准 I/O 缓冲区,适合低级别的 I/O 操作。
语法

ssize_t read(int fd, void *buf, size_t count);

参数说明

  • fd:文件描述符,表示要读取的文件或输入资源(例如 STDIN_FILENO 表示标准输入)。
  • buf:缓冲区指针,指向读取到的数据将要存放的位置。
  • count:期望读取的字节数,即 buf 的大小。
    返回值
  • 成功时,返回实际读取的字节数(ssize_t 类型)。
    • 若返回 0,表示读取到文件末尾(EOF)。
  • 失败时,返回 -1,并设置 errno 来指示错误原因。

5. 总结

fopenfclosefreadfwrite这些都是C语言标准库的函数,也就是库函数。
openclosereadwrite都是系统提供的接口,也就是系统调用接口。
而这部分库函数会区调用系统接口。

可以认为,f*系列的函数,都是对系统的封装,方便二次开发。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。