【教程】大数据平台Cloudera CDH对接OBS操作指南
【摘要】 1. 背景介绍传统的Hadoop和Spark大数据生态，是以本地硬盘或云硬盘承载HDFS文件系统，存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高，扩容困难，而云硬盘的成本较高，扩容较方便。华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务，具有高性能、低成本的优势，无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据...
1. 背景介绍
传统的Hadoop和Spark大数据生态，是以本地硬盘或云硬盘承载HDFS文件系统，存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高，扩容困难，而云硬盘的成本较高，扩容较方便。
华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务，具有高性能、低成本的优势，无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。
Cloudera是Hadoop生态系统中，规模最大、知名度最高的公司。为支持大数据平台CDH使用华为云对象存储OBS进行数据存储和读写，华为云OBS推出大数据组件OBSFileSystem与CDH进行对接。
本操作指导书旨在帮助华为云用户在CDH平台上快速对接OBSFileSystem组件，更好的使用华为云对象存储OBS。
2. 部署视图
2.1. 安装版本
硬件：1master+3core（配置：8U32G，操作系统：Centos7.5）
软件：CDH 6.0.1
2.2. 部署视图
CDH平台已安装完成，本文主要介绍CDH平台通过OBSFileSystem组件与OBS进行对接的操作步骤。对接OBS后，用户的数据即可存储在OBS平台，通过CDH进行大数据计算，实现计算存储分离。
3. CDH对接OBS操作步骤
详见附件
-
2.79M 下载次数：86次
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
很多烦恼2020/01/06 07:44:401楼编辑删除举报
很多烦恼2020/01/06 07:45:102楼编辑删除举报
2.hadoop-huaweicloud-2.8.3.13.jar
3.java-xmlbuilder-1.1.jar
4.okhttp-3.10.0.jar
5.okio-1.14.0.jar
这5个包去哪里下载