分布式文件系统 fastDFS 研究

举报
tea_year 发表于 2025/09/30 15:27:41 2025/09/30
【摘要】 什么是分布式文件系统1.1 技术应用场景在线教育拥有大量优质的视频教程,并且免费提供给用户去下载,文件太多如何高效存储?用户访问量大如何保证下载速度?今天讲解的分布式文件系统将解决这些问题。分布式文件系统解决了海量文件存储及传输访问的瓶颈问题,对海量视频的管理、对海量图片的管理等。1.2 什么是分布式文件系统1.2.1 什么是文件系统总结:文件系统是负责管理和存储文件的系统软件,它是操作系...

什么是分布式文件系统

1.1 技术应用场景

在线教育拥有大量优质的视频教程,并且免费提供给用户去下载,文件太多如何高效存储?用户访问量大如何保证

下载速度?今天讲解的分布式文件系统将解决这些问题。

分布式文件系统解决了海量文件存储及传输访问的瓶颈问题,对海量视频的管理、对海量图片的管理等。


image-20210111162004349.png


1.2 什么是分布式文件系统

1.2.1 什么是文件系统


image-20210111162115299.png


总结:文件系统是负责管理和存储文件的系统软件,它是操作系统和硬件驱动之间的桥梁,操作系统通过文件系统 提供的接口去存取文件,用户通过操作系统访问磁盘上的文件。如下图:


常见的文件系统:FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4 等 。


image-20210111162300327.png


思考:如果没有文件系统我们该怎么管理自己的文件?


1 .2.2什么是分布式文件系统

引用“百度百科”中的描述:


image-20210111162328798.png



为什么会有分布文件系统呢?

分布式文件系统是面对互联网的需求而产生,互联网时代对海量数据如何存储?靠简单的增加硬盘的个数已经满足 不了我们的要求,因为硬盘传输速度有限但是数据在急剧增长,另外我们还要要做好数据备份、数据安全等。

采用分布式文件系统可以将多个地点的文件系统通过网络连接起来,组成一个文件系统网络,结点之间通过网络进 行通信,一台文件系统的存储和传输能力有限,我们让文件在多台计算机上存储,通过多台计算共同传输。如下 图:


image-20210111162912656.png


好处:

  1. 一台计算机的文件系统处理能力扩充到多台计算机同时处理。

  2. 一台计算机挂了还有另外副本计算机提供数据。

  3. 每台计算机可以放在不同的地域,这样用户就可以就近访问,提高访问速度。

1.3 主流的分布式文件系统

1 、NFS


image-20210111162955930.png



image-20210111163440627.png


  1. 在客户端上映射NFS服务器的驱动器。

  2. 客户端通过网络访问NFS服务器的硬盘完全透明。


2 、GFS



image-20210111163559773.png

image-20210111163614967.png





  1. GFS采用主从结构,一个GFS集群由一个master和大量的chunkserver组成。

  2. master存储了数据文件的元数据,一个文件被分成了若干块存储在多个chunkserver中。

  3. 用户从master中获取数据元信息,从chunkserver存储数据。


3 、HDFS

HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。

HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件内容的随机修改,只能在末尾追加。适合用来做数据分析,并不适合用来做网盘应用。

image-20210111163709497.png


  1. HDFS采用主从结构,一个HDFS集群由一个名称结点和若干数据结点组成。

    名称结点存储数据的元信息,一个完整的数据文件分成若干块存储在数据结点。

  2. 客户端从名称结点获取数据的元信息及数据分块的信息,得到信息客户端即可从数据块来存取数据。

1.4分布式文件服务提供商

华为云的OBS

网址:https://www.huaweicloud.com/product/obs.html

Snipaste_2025-09-30_15-26-02.png

对象存储服务(Object Storage Service,OBS)提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。