HDFS特性及缺点分析(3)

举报
大数据梦想家 发表于 2021/09/29 01:53:26 2021/09/29
1.9k+ 0 0
【摘要】         因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!...

        因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次小菌为大家带来的就是HDFS的特性以及缺点分析。

HDFS特性

        关于HDFS的特性,相信从系列1《HDFS文件系统介绍(1)》开始,大家就对HDFS产生了浓厚的兴趣。虽然在前面我们也或多或少的提到了一些它的用途。但如果精炼概况HDFS的特性,大致要分为下面3点:

1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别数据。
2、高容错性:节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动恢复。
可构建在廉价(与小型机大型机比)的机器上,实现线性扩展(随着节点数量的增加,集群的存储能力,计算能力随之增加)。
3、大文件存储:HDFS采用数据块的方式存储数据,将一个大文件切分成多个小文件,分布存储

HDFS缺点

        当然,HDFS看着功能这么"强大",也无法避免自身存在的一些"缺陷"。HDFS的缺点大致有如下几点:

1、 不能做到低延迟数据访问: HDFS 针对一次性读取大量数据继续了优化,牺牲了延迟性。
2、不适合大量的小文件存储
A:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。
B:每个文件、目录和数据块的存储信息大约占150字节
由于以上两个原因,所以导致HDFS不适合大量的小文件存储
3、文件的修改; 不适合多次写入,一次读取(少量读取)
4、不支持多用户的并行写

        本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言,小菌后续还会推出HDFS系列的其他内容,希望大家持续关注小菌ヾ(๑╹◡╹)ノ"


  往期内容回顾:
《HDFS文件系统介绍(1)》
《HDFS文件读写流程(2)》
《HDFS的shell常用命令大全》

文章来源: alice.blog.csdn.net,作者:大数据梦想家,版权归原作者所有,如需转载,请联系作者。

原文链接:alice.blog.csdn.net/article/details/102916112

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

作者其他文章

评论(0

抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。