OBS大数据解决方案开篇

    随着企业数据资产的增加，如何能可靠安全的存储这些数据，以及如何能高效处理这些数据成为了大数据技术的起点，以hadoop为代表的开源技术大肆兴起，随后大数据技术栈如雨后春笋般的涌现，hive，spark，impala，presto，flink。。。几乎每隔一两年就会有新的大数据处理框架出现，同时也出现了HDP,CDH,FusionInsight等整体解决方案，而随着云计算的发展和各企业的接收程度，大数据领域也在积极拥抱云计算，各个云计算厂商都推出了托管式的大数据整体解决方案，例如华为云的MRS+OBS，aws的EMR+S3。。。

    在大数据整体技术架构中，分布式文件系统和对象存储系统成为了主流的数据存储解决方案，hadoop的HDFS协议和aws的S3协议成为了事实上的数据访问标准，其上层的计算框架和周边生态均实现了通过HDFS协议和S3协议访问数据的能力。华为云OBS作为大数据解决方案中的数据存储层，其实现了HDFS协议并且兼容S3协议，从而降低了数据访问和迁移成本。

    后续的系列博客将重点讲述各个大数据技术栈和OBS的整合，包括

hive

spark

flink

presto

impala

druid

flume：https://bbs.huaweicloud.com/blogs/193528

sqoop

dataX

hbase

solr