【教程】大数据平台Cloudera CDH对接OBS操作指南

举报
lanxinliuli 发表于 2019/05/15 11:10:03 2019/05/15
【摘要】 1. 背景介绍传统的Hadoop和Spark大数据生态,是以本地硬盘或云硬盘承载HDFS文件系统,存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高,扩容困难,而云硬盘的成本较高,扩容较方便。华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务,具有高性能、低成本的优势,无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接,为用户提供计算存储分离的大数据...

1.   背景介绍

传统的HadoopSpark大数据生态,是以本地硬盘或云硬盘承载HDFS文件系统,存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高,扩容困难,而云硬盘的成本较高,扩容较方便。

华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务,具有高性能、低成本的优势,无扩容问题。同时可以与HadoopSpark大数据生态进行对接,为用户提供计算存储分离的大数据解决方案。

ClouderaHadoop生态系统中,规模最大、知名度最高的公司。为支持大数据平台CDH使用华为云对象存储OBS进行数据存储和读写,华为云OBS推出大数据组件OBSFileSystemCDH进行对接。

本操作指导书旨在帮助华为云用户在CDH平台上快速对接OBSFileSystem组件,更好的使用华为云对象存储OBS

2.   部署视图

2.1.     安装版本

硬件:1master+3core(配置:8U32G,操作系统:Centos7.5

软件:CDH 6.0.1

2.2.     部署视图

CDH平台已安装完成,本文主要介绍CDH平台通过OBSFileSystem组件与OBS进行对接的操作步骤。对接OBS后,用户的数据即可存储在OBS平台,通过CDH进行大数据计算,实现计算存储分离。

 

1.png

 

3.   CDH对接OBS操作步骤

详见附件

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。