湖仓一体电商项目(二):项目使用技术及版本和基础环境准备
【摘要】 项目使用技术及版本和基础环境准备一、项目使用技术及版本下表列出项目中使用的大数据技术组件及各个组件的版本,如下:使用技术版本zookeeper3.4.13HDFS3.1.4/3.2.2Hive3.1.2(MySQL 5.7.32)iceberg0.11.1Hbase2.2.6phoenix5.0.0kafka0.11.0.3redis2.8.18flink1.11.6flume1.9.0ma...
项目使用技术及版本和基础环境准备
一、项目使用技术及版本
下表列出项目中使用的大数据技术组件及各个组件的版本,如下:
使用技术 |
版本 |
---|---|
zookeeper |
3.4.13 |
HDFS |
3.1.4/3.2.2 |
Hive |
3.1.2(MySQL 5.7.32) |
iceberg |
0.11.1 |
Hbase |
2.2.6 |
phoenix |
5.0.0 |
kafka |
0.11.0.3 |
redis |
2.8.18 |
flink |
1.11.6 |
flume |
1.9.0 |
maxwell |
1.28.2 |
clickhouse |
21.9.4.35 |
二、项目基础环境准备
这里我们使用5台节点来安装各个大数据组件,每台节点给了3G内存,4个core,并且每台节点已经关闭防火墙、配置主机名、设置yum源、各个节点时间同步、各个节点两两免密、安装JDK操作。5台节点信息如下:
节点IP |
节点名称 |
---|---|
192.168.179.4 |
node1 |
192.168.179.5 |
node2 |
192.168.179.6 |
node3 |
192.168.179.7 |
node4 |
192.168.179.8 |
node5 |
下篇一一进行基础技术组件搭建。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)