MRS二次开发(1/27): 环境准备

举报
晋红轻 发表于 2020/11/28 09:49:46 2020/11/28
【摘要】 MRS二次开发介绍

MRS二次开发(1/27): 环境准备

一、MRS是什么?

MRS是一种基于云计算平台的大数据服务

两种部署形式:

集群类型

集群部署形式

弹性伸缩集群

1、安装云底座后导入MRS镜像;<br />2、通过云底座上的MRS Console发放FusionInsight集群,集群节点为虚拟机

物理机集群

1、分别安装云底座、FusionInsight物理机集群;<br />2、通过MRS Console纳管FusionInsight集群

因此本系列课程实际讲解的是 FusionInsight 集群的服务调用案例

二、课程说明

本次课程共27节,基于FusionInsight 8.0.2版本进行讲解,课程目录列表如下,所有样例都是基于Java语言的maven项目,其他非maven项目,我们后续会在FusionInsight论坛上传使用指导

1.1 课程列表

序号

组件

1

环境准备

2

HDFS调用样例

3

MapReduce任务提交样例

4

MapReduce多组件调用样例

5

Hive的HCatalog接口调用样例

6

Hive的JDBC接口调用样例

7

Hetu的JDBC接口调用样例

8

HBase通用API使用样例

9

HBase Rest接口调用样例

10

HBase thrift接口调用样例

11

Redis调用样例

12

Kafka接口调用样例

13

ES的Rest接口样例

14

ES的Transport接口样例

15

Flink构造DataStream样例

16

Flink异步Checkpoint样例

17

Flink实现配置表与实时流join的样例

18

Flink读写Kafka样例

19

Flink实现pipline样例

20

Flink TableAPI使用样例

21

使用java命令提交spark任务样例

22

Spark读写HBase样例

23

Spark读取Hive写入HBase样例

24

Spark读写ElasticSearch样例

25

Spark-submit提交SparkSQL样例

26

通过JDBC接口访问SparkSQL样例

27

SparkStreaming读取Kafka写入HBase样例

三、环境准备

3.1 集群环境

本系列课程使用的是FusionInsight集群为安全模式,支持Kerberos认证

已经安装了客户端,客户端目录为/opt/client,该目录可根据实际情况自定义

3.2 开发环境

工具

说明

系统

windows10 64bit

JDK

Oracle JDK 1.8

maven

3.6.3

git

2.18 for windows 样例代码下载工具

scala

2.11.12(部分组件使用)

xshell或者Mobaxterm

ssh客户端工具

WinSCP

sftp传输工具

3.3 样例代码获取

获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.0.2

注意是 mrs-3.0.2 分支

git下载样例代码命令参考:

 git clone -b mrs-3.0.2 https://github.com/huaweicloud/huaweicloud-mrs-example.git

如果访问github比较慢的同学,也可以通过 FusionInsight 论坛获取,获取方式为论坛内搜索 二次开发,找到环境准备这节课,从帖子的附件中下载即可

3.4 配置maven仓库

样例代码需要从maven仓下载依赖,因此需要开发环境连通互联网环境。

maven仓库配置可以参考华为公有云网站MRS服务的指导,链接为:

https://support.huaweicloud.com/devg-mrs/mrs060002.html

也可参考如下方式配置:

创建settings.xml文件内容参考如下

  • <?xml version="1.0" encoding="UTF-8"?>

    <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
              xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">

    <localRepository>E:\apache-maven-3.6.3\repo</localRepository>

    <mirrors>
    <mirror>
    <id>repo1</id>
    <mirrorOf>central</mirrorOf>
    <url>https://repo1.maven.org/maven2/</url>
    </mirror>
    </mirrors>

        <profiles>
    <profile>
    <id>huaweicloudsdk</id>
    <repositories>
    <repository>
    <id>huaweicloudsdk</id>
    <url>https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/</url>
    <releases><enabled>true</enabled></releases>
    <snapshots><enabled>true</enabled></snapshots>
    </repository>
    </repositories>
    <activation>
    <activeByDefault>1.8</activeByDefault>
    <jdk>1.8</jdk>
    </activation>
    <properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
    </properties>
    </profile>
    </profiles>

        <activeProfiles>
    <activeProfile>huaweicloudsdk</activeProfile>
        </activeProfiles>
    </settings>

IDEA项目中修改Settings中的Maven仓配置,如图所示位置

四、环境检查

4.1 开发环境hosts信息配置检查

 检查 C:\Windows\System32\drivers\etc\hosts 文件中是否包含所有集群节点的域名IP映射信息

4.2 开发环境与集群网络检查

网络检查可以通过windows环境下的cmd命令行进行ping检查,也可以参考使用MobaXterm中的NetworkScanner来扫描网络


4.3 端口检查

所有组件的端口占用信息可通过版本配套的通信矩阵来获取具体端口信息,其中注意Kerberos认证需要开放UDP端口21732

本版本用到的通信矩阵将以附件形式附上,或通过如下链接获取

https://support.huawei.com/enterprise/zh/doc/EDOC1100161650?idPath=22658044%7C22662728%7C22666212%7C22396131

4.4 开发环境与集群时间差检查

Windows开发环境的时间与集群时间误差不能超过5分钟

4.5 开发环境JDK配置检查

所有需配置为1.8

互动渠道:FusionInsight论坛

访问 https://www.huaweicloud.com/ 后点击“开发者”-“云社区”-“论坛”

选择“热门板块”里面的“EI企业智能”

进入"FusionInsight"子版块,在该版块中如有问题,可选择发帖类型为“问题求助”类型进行咨询

或者使用如下链接直接进入: https://bbs.huaweicloud.com/forum/forum-1103-1.html

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。