HDFS特性及缺点分析(3)
【摘要】
因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!...
因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次小菌为大家带来的就是HDFS的特性以及缺点分析。
HDFS特性
关于HDFS的特性,相信从系列1《HDFS文件系统介绍(1)》开始,大家就对HDFS产生了浓厚的兴趣。虽然在前面我们也或多或少的提到了一些它的用途。但如果精炼概况HDFS的特性,大致要分为下面3点:
1、海量数据存储: HDFS可横向扩展,其存储的文件可以支持PB级别数据。
2、高容错性:节点丢失,系统依然可用,数据保存多个副本,副本丢失后自动恢复。
可构建在廉价(与小型机大型机比)的机器上,实现线性扩展(随着节点数量的增加,集群的存储能力,计算能力随之增加)。
3、大文件存储:HDFS采用数据块的方式存储数据,将一个大文件切分成多个小文件,分布存储。
HDFS缺点
当然,HDFS看着功能这么"强大",也无法避免自身存在的一些"缺陷"。HDFS的缺点大致有如下几点:
1、 不能做到低延迟数据访问: HDFS 针对一次性读取大量数据继续了优化,牺牲了延迟性。
2、不适合大量的小文件存储 :
A:由于namenode将文件系统的元数据存储在内存中,因此该文件系统所能存储的文件总数受限于namenode的内存容量。
B:每个文件、目录和数据块的存储信息大约占150字节。
由于以上两个原因,所以导致HDFS不适合大量的小文件存储
3、文件的修改; 不适合多次写入,一次读取(少量读取)
4、不支持多用户的并行写。
本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言,小菌后续还会推出HDFS系列的其他内容,希望大家持续关注小菌ヾ(๑╹◡╹)ノ"
往期内容回顾:
《HDFS文件系统介绍(1)》
《HDFS文件读写流程(2)》
《HDFS的shell常用命令大全》
文章来源: alice.blog.csdn.net,作者:大数据梦想家,版权归原作者所有,如需转载,请联系作者。
原文链接:alice.blog.csdn.net/article/details/102916112
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)