HDFS系列(2) | HDFS优缺点分析

举报
不温卜火 发表于 2020/12/02 22:36:19 2020/12/02
【摘要】 因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。 目录 一. HDFS的优点1. 高容错性2. 适合处理大数据3. 实用性强 二. HDFS的缺点1. 不适合低延时数据访问2. 无法高效的对大量小文件进行存储3. 不支持并发写入、文件...

因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。


一. HDFS的优点

1. 高容错性

  • 1. 数据自动保存多个副本。它通过增加副本的形式,提高容错性。
    1
  • 2. 某一个副本丢失以后,它可以自动恢复
    2

2. 适合处理大数据

  • 1. 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据
  • 2. 文件规模:能够处理百万规模以上的文件数量,数量相当之大

3. 实用性强

  • 可构建在廉价机器上,通过多副本机制,提高可靠性

二. HDFS的缺点

1. 不适合低延时数据访问

  • 比如说毫秒级的存储数据,是做不到的。

2. 无法高效的对大量小文件进行存储

  • 1. 存储大量小文件的话,它会占用NameNode大量的内存来存储文件
  • 2. 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标

3. 不支持并发写入、文件随机修改

  • 1. 一个文件只能有一个写,不允许多个线程同时写
    3

  • 2. 仅支持数据append(追加),不支持文件的随机修改


本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言,博主会在后续继续推出HDFS系列的其他内容,希望大家持续关注博主!!!

文章来源: buwenbuhuo.blog.csdn.net,作者:不温卜火,版权归原作者所有,如需转载,请联系作者。

原文链接:buwenbuhuo.blog.csdn.net/article/details/105670785

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。