为什么都在提供对象存储服务?
对象存储的发展历程
对象存储并不是最近几年才产生的,它的历史可以追溯到1998年出现的CAS(Content Addressable Storage),作为多家技术公司顾问的Philippe Nicolas贴出的一张图片,比较直观详细的介绍了对象存储的发展史,当然他的图里列的公司和产品也并不全,国内除了华为的UDS之外,其他的一些公司的产品并未列在这里。
存储在线的一篇文章比较详细的对该图进行了解析,感兴趣的可以点击阅读。
这里提炼主要的内容:
和很多创新一样,几乎所有的系统最初都来自小型厂商,之后经过大型企业升级改造逐渐扩大影响力形成标准并创造更大的商业价值。
一部分公司通过借鉴大公司披露出来的技术(通过发表论文或技术文档等形式展示出的google的三驾马车及Cloud Storage、亚马逊的Dynamo、微软的WAS、雅虎的MObStor和之后的COS、Facebook的HayStack和Cassandra、LinkedIn的Ambry等)实现自研的产品。
开源项目(比如Ceph、Swift等)的飞速发展,使得一些公司得以快速的形成自己产品和方案。
从这张图上可以看到,对象存储将近50多家公司在搞,而且计算机领域知名的公司都在这个名单里。其中一些公司的对象存储起源于自身业务的需求,产品不断打磨,之后因为外部需求将自己的产品提炼成服务对外发布,另一些公司,则完全是为了满足外部需求。那究竟为什么市场对对象存储有这么大的需求呢?
2. 存储的发展源于业务需求的变化
商业公司发力在做产品,主要原因还是因为这块有利可图,甚至有大利可图。那究竟有多大呢?有IDC公司之前做过一项调查,预测到2020年,全球每年创建和复制的非结构化数据将达到44泽字节,也就是44万亿吉字节。这比2013年预测的4.4泽字节提高了10倍。如果你觉得这有点夸大,不妨考虑这个:在2015年,非结构化数据已经占所有数字数据的90%!
这么庞大的非结构化数据,其对存储提出了更多的要求:要易于访问、PB级的存储容量、可动态线性扩展、要具备更高可靠性和可用性,另外就是要成本够低。在这些需求下,传统的NAS/SAN等存储已经不能满足,所以才逐渐将对象存储推上热潮。
这里提到了非结构化的数据,那必然还有结构化的数据,他们的区别是什么呢?
· 只要是能存在SQL数据库中的数据都是结构化数据,比如编程常用的XML文本就是结构化的数据,比如注册账号时候填写的表格就是典型的架构化数据,年龄,性别,姓名,出生年月等一个个字段可以用模板套格式化结构化的数据。
· 相对应的非结构化数据就是没什么固定格式,大小不一的数据,比如一段在线聊天记录,比如一张图片,比如一个文档、一个音频等。
结构化数据进行增加、删除、修改、查询都很方便。而非结构化的数据在想找特定的内容时速度会很慢,进行格式转化就很麻烦,而且量非常大,需要在大的空间内存放这些数据。
非结构化数据爆炸性的增长主要源自于互联网的发展带动了相关行业的业务发展,大概概括起来,这些业务可能包括以下:
· 电商、互联网金融、在线教育等行业的Web和移动应用,商品图片,互联网金融行业的用户证件照,在线交易视频等文件等,需要存储,此前的做法是搭建文件服务器,文件服务器的扩展性、并发性都有问题。
· 企业网盘,传统企业文档管理面临多终端访问、数据分散、数据量大、管理使用难、安全风险高等诸多挑战,需要提供统一的文档存储和一站式数据保险箱服务,支持PC/移动多终端、海量和5TB超大文件上传、秒传、端到端数据安全。
· 静态网站托管,比如企业网站。静态网站可以直接托管在对象存储里,对接CDN加速异地访问体验。小规模的网站需要更新时,把文件更新到对象存储相应的目录里就可以了,笔者所在的存储在线网站上存储图片技术就是对象存储技术。
· 大数据分析,大数据分析首先要解决数据存储的问题,许多企业尤其是传统行业,都只是把数据存起来但不知道怎么用。此前的存储架构对外部访问不友好,做大数据分析还要解决数据访问的问题,而对象存储能很好地支持大数据系统,在做比如舆情分析、互联网金融风控、BI报表、3D建模,都能提供帮助,帮助用户做数据分析。
· 图片处理。进行简单的翻转、剪裁等操作,高级点的还有图片鉴黄功能,其中,鉴黄功能就是一种第三方服务,这显示出对象存储还能方便地接入第三方的处理能力,支持这中能力的是事件驱动框架。从根本的技术上来讲,我们也可以将这种方式视作对象存储的一种灵活性,灵活的访问到存储的数据然后做加工处理。
· 视频云。许多行业客户包括电力行业、交通行业、建筑行业,都有大量的视频,存储需求很大,传统存储成本造价太高,存储后的检索、点播能力较差,对象存储在这一领域也有很大应用空间。
· 备份归档。传统的存储也会做备份归档,把企业的邮件、日志通过备份工具备份出来,对象存储在这一部分与归档存储工具有部分重合,不过,对象存储的访问能力要比传统的备份系统要好的多。
· 异地灾备。用户可以从一个对象存储迁移到另外一个对象存储节点区域,作为远程备份满足企业同城或者异地灾备的需求。
以上这些业务场景也是对象存储服务厂商需要优先关注解决的。
3. 华为的对象存储服务
华为在传统存储服务方面的积累深厚,其中阵列存储已经跻身Gartner通用存储阵列魔力四象限报告的领导者象限,其分布式NAS OceanStor9000在国内的市场份额牢牢占据第一的位置,全闪存Dorado也取得了不俗的成绩。当然华为也是紧跟市场需求,早就开始布局云计算方面的业务,其中对象存储服务也在较早阶段投入,并最终在华为云上发布了对象存储服务(ObjectStorage Service,简称OBS)。
华为的对象存储服务是面向对象/文件的、海量的互联网存储服务。OBS能让用户不用关心底层的存储技术,也不用关心存储容量规划和扩容减容问题,直接通过RESTful API调用海量的存储资源,或者通过华为云服务网站的管理控制台、第三方云存储客户端,为应用存取数据。更多信息请参考:http://www.huaweicloud.com/product/obs.html
当然华为在云服务特别是对象存储这块的投入、创新和优化并未停止,目标也十分明确,从性能、可靠性乃至最终全方位的超越现在的霸主AWS的S3服务。这样的努力已经开始,并且即将有一些阶段性的成果面世,接下来文章中我会对其中的一些改进进行介绍。
- 点赞
- 收藏
- 关注作者
评论(0)