使用DLI Flink SQL进行电商实时业务数据分析的操作感想

    参加华为云大数据分析7天训练营，学习《第四章 项目实践：使用DLI Flink SQL进行电商实时业务数据分析》，除了根据操作文档步骤和https://bbs.huaweicloud.com/blogs/269814（使用DLI Flink SQL进行电商实时业务数据分析）的操作博客来做，还可以根据自己现有的服务器，搭建mysql和kafka来减少实验的操作费用。

    1.虽然已经部署了k8s，但是因NFS存储有点问题，为了避免麻烦部署docker版的mysql，但是要特别注意mysql5.7的版本，要mysql:5.7.30以上的版本才能支持arm64，如果是之前的版本会报下面的错误。

还有记得把mysql容器的文件/etc/mysql/mysql.conf.d/mysqld.cnf拷贝出来，修改字符如下：

[mysqld]

character_set_server=utf8

[client]

default-character-set=utf8

修改完成后拷贝到容器的相关目录里，记得要重启mysql容器。

    2.部署docker版的kafka，经过mysql的经验，要找支持arm64的docker版kafka。

    2.1先部署支持arm64的zookeeper，命令如下：

docker pull pi4k8s/k8szk:v3.4.14

docker run -itd --name zookeeper -p 2181:2181 -e ZK_REPLICAS=1 -e ZK_HEAP_SIZE=512M --hostname=zk-1 -v /opt/moudles/zookeeper/data:/var/lib/zookeeper -v /opt/moudles/zookeeper/log:/var/log/zookeeper pi4k8s/k8szk:v3.4.14 /bin/bash -c "/usr/bin/zkGenConfig.sh && /usr/bin/zkServer.sh start-foreground"

    2.2部署支持arm64的kafka

docker pull iecedge/cp-kafka-arm64:5.0.1

docker run -d --name=kafka -p 1099:1099 -p 9092:9092 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.146:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.146:9092 -e KAFKA_JMX_PORT=1099 -e KAFKA_JMX_HOSTNAME=192.168.0.146 -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 -e KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" -v /opt/moudles/kafka/data:/var/lib/kafka/data iecedge/cp-kafka-arm64:5.0.1

    2.3部署完后，下载kafka的源码包：

cd /opt/softwares

wget  https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

tar zxf /opt/softwares/kafka_2.12-2.3.0.tgz -C /opt/modules/

cd /opt/modules/kafka_2.12-2.3.0/bin

    2.4 创建topic

./kafka-topics.sh --create --zookeeper 192.168.0.146:2181 --replication-factor 1 --partitions 1 --topic trade_order

    2.5查看创建topic的数目

./kafka-topics.sh --list --zookeeper 192.168.0.146:2181

    2.6 kafka生产者

./kafka-console-producer.sh --broker-list 192.168.0.146:9092 --topic trade_order

    2.7 kafka消费者

./kafka-console-consumer.sh --bootstrap-server 192.168.0.146:9092 --topic trade_order --from-beginning

    3.在根据手册添加IP地址：192.168.0.146即可，就是在DLV大屏链接数据库的时候，要特别注意的是填写连接代理时，选择CDN的DGC-default_xXlycHxY，会默认找到mysql数据库。就会成功连接mysql。

    制作好的大屏，可以点击发布，获得分享链接：https://console.huaweicloud.com/dlv/vision/share/?id=5b8f49d4f11f4de594a4717c3ff4f634&locale=zh-cn&region=cn-north-4如图所示：

    通过学习和操作使用DLI Flink SQL进行电商实时业务数据分析，了解到DLI和DLV不但可以支持华为云上的mysql和kafka产品，还支持在弹性云服务器搭建mysql和kafka。之前以为docker版的软件可以跨任何平台使用，但是通过这一次在鲲鹏服务器上搭建docker的mysql和kafka，才知道对于cup的X86和arm还是有区别。