从零开始实施推荐系统的落地部署——27.推荐系统案例（十七）部署openLooKeng（HetuEngine的开源版）

    前几天看了《华为云FusionInsight MRS数享会：用HetuEngine打破数据壁垒》的直播，了解到华为自研HetuEngine是高性能分布式SQL查询&数据虚拟化引擎，与大数据生态无缝融合，实现海量数据秒级查询，支持多样异构协同，跨域，跨数据中心，实现数据湖内一站式SQL能融合分析。为了学习HetuEngine，找到它的开源版本为openHetu，在2020年7月1号改名为openLooKeng，现在开始部署openLooKeng。

1. 在https://download.openlookeng.io下载hetu-server-1.1.0.tar.gz 上传到mas1:/opt/softwares/

 tar -zxf /opt/softwares/hetu-server-1.1.0.tar.gz -C /opt/modules/

 mv /opt/modules/hetu-server-1.1.0 /opt/modules/hetu

    2. 配置openLooKeng相关文件和目录说明

这个openLooKeng有点特殊，要在安装目录下创建etc目录。目录下还有建立4个文件，详解它们的用途：（1）node.properties节点属性：每个节点特有的环境配置。（2）jvm.configJVM配置：Java虚拟机的命令行选项。（3）config.properties配置属性：openLooKeng服务器的配置。（4）catalog目录属性：连接器（数据源）配置。

    3. 配置openLooKeng

mkdir /opt/modules/hetu/etc

mkdir /opt/modules/hetu/data

（1）touch /opt/modules/hetu/etc/node.properties

node.environment=wuyicom

node.id=ffffffff-ffff-ffff-ffff-fffffff10001

node.data-dir=/opt/modules/hetu/data

注意：node.id要填写，不填写会报下面的错误

node.id：openLooKeng安装的唯一标识符。该属性对于每个节点必须唯一。在openLooKeng的重启或升级过程中，此标识符应该保持一致。如果在一台机器上运行多个openLooKeng安装（即同一机器上多个节点），每个安装必须有一个唯一的标识符。

（2）touch /opt/modules/hetu/etc/jvm.config

-server

-Xmx16G

-XX:-UseBiasedLocking

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+ExplicitGCInvokesConcurrent

-XX:+ExitOnOutOfMemoryError

-XX:+UseGCOverheadLimit

-XX:+HeapDumpOnOutOfMemoryError

-XX:ReservedCodeCacheSize=512M

-Djdk.attach.allowAttachSelf=true

-Djdk.nio.maxCachedBufferSize=2000000

注意：由于OutOfMemoryError通常会使JVM处于不一致的状态，因此我们编写一个堆转储（用于调试），并在出现这种情况时强制终止进程。

因为资源有限，只能在mas1同时安装作为协调节点和工作节点

（3）touch /opt/modules/hetu/etc/config.properties

coordinator=true

node-scheduler.include-coordinator=true

http-server.http.port=8085

query.max-memory=5GB

query.max-memory-per-node=1GB

query.max-total-memory-per-node=2GB

discovery-server.enabled=true

discovery.uri=http://mas1.wuyi.com:8085

http-server.http.port：指定HTTP服务器的端口号。openLooKeng使用HTTP进行所有内部和外部通信。

discovery-server.enabled：openLooKeng使用Discovery服务查找集群中的所有节点。每个openLooKeng实例在启动时都会将自己注册到Discovery服务。为了简化部署并避免运行额外的服务，openLooKeng协调节点可以运行Discovery服务的嵌入式版本。该版本与openLooKeng共用HTTP服务器，因此使用相同端口

discovery.uri：Discovery服务器的URI。由于我们已经在openLooKeng协调节点中启用了Discovery的嵌入式版本，因此这应该是openLooKeng协调节点的URI

（4）touch /opt/modules/hetu/etc/log.properties

io.prestosql=INFO

（5）建立目录属性

mkdir /opt/modules/hetu/etc/catalog

（6）测试openLooKeng

/opt/modules/hetu/bin/launcher run

如下图显示

登录http://mas1.wuyi.com:8085/ui/，可以运行select * from system.information_schema.tables;做测试，如下图所示：

说明openLooKeng已经成功搭建好。openLooKeng的监控页面不错，能查看节点相关信息，还能查看SQL执行的情况和动态查看CPU和内存的使用率，以便给任务合理分配资源。整体上证明openLooKeng的厉害。