《大数据技术丛书Flink原理、实战与性能优化》—2.2.2　基于Scala实现的项目模板

2.2.2　基于Scala实现的项目模板

Flink在开发接口中同样提供了Scala的接口，用户可以借助Scala高效简洁的特性进行Flink App的开发。在创建项目的过程中，也可以像上述Java一样创建Scala模板项目，而在Scala项目中唯一的区别就是可以支持使用SBT进行项目的创建和编译，以下实例，将从SBT和Maven两种方式进行介绍。

1. 创建项目

（1）创建Maven项目

1）使用Maven archetype进行项目创建

代码清单2-2是通过Maven archetype命令创建Flink Scala版本的模板项目，其中项目相关的参数同创建Java项目一样，需要通过交互式的方式进行输入，用户可以指定对应的项目名称、groupid、artifactid以及version等信息。

代码清单2-2　使用Maven archetype创建Scala项目

执行完上述命令之后，会显示如图2-2所示的提示，表示项目创建成功，可以进行后续操作。同时可以在同级目录中看到已经创建好的Scala项目模板，其中包括了两个Scala后缀的文件。

2）使用quickstart curl脚本创建

如上节所述，在创建Scala项目模板的过程中，也可以通过quickstart curl脚本进行创建，这种方式相对比较简单，只要执行以下命令即可：

curl https://flink.apache.org/q/quickstart-scala-SNAPSHOT.sh | bash

  -s 1.7.0

图2-2　Maven创建Scala项目

执行上述命令后就能在路径中看到相应的quickstart项目生成，其目录结构和通过Maven archetype创建的一致，只是不支持修改项目的GAV信息。

（2）创建SBT项目

在使用Scala接口开发Flink应用中，不仅可以使用Maven进行项目的编译，也可以使用SBT（Simple Build Tools）进行项目的编译和管理，其项目结构和Maven创建的项目结构有一定的区别。可以通过SBT命令或者quickstart脚本进行创建SBT项目，具体实现方式如下：

1）使用SBT命令创建项目

sbt new path/flink-project.g8

执行上述命令后，会在客户端输出创建成功的信息，表示项目创建成功，同时在同级目录中生成创建的项目，其中包含两个Scala的实例代码供用户参考。

2）使用quickstart curl脚本创建项目

可以通过使用以下指令进行项目创建Scala项目：

bash <(curl https://flink.apache.org/q/sbt-quickstart.sh)

注意 如果项目编译方式选择SBT，则需要在环境中提前安装SBT编译器，同时版本需要在0.13.13以上，否则无法通过上述方式进行模板项目的创建，具体的安装教程可以参考SBT官方网站https://www.scala-sbt.org/download.html 进行下载和安装。

2. 检查项目

对于使用Maven archetype创建的Scala项目模板，其结构和Java类似，在项目中增加了Scala的文件夹，且包含两个Scala实例代码，其中一个是实现DataSet接口的批量应用实例BatchJob，另外一个是实现DataStream接口的流式应用实例StreamingJob，如代码清单2-3所示。

代码清单2-3　Scala模板项目结构

3. 编译项目

1）使用Maven编译

进入到项目路径中，然后通过执行mvn clean package命令对项目进行编译，编译完成后产生target/<artifact-id>-<version>.jar。

2）使用Sbt编译

进入到项目路径中，然后通过使用sbt clean assembly对项目进行编译，编译完成后再产生target/scala_your-major-scala-version/project-name-assembly-0.1-SNAPSHOT.jar。

4. 开发应用

在项目创建和检测完成后，用户可以选择在Scala项目模板的代码上编写应用，也可以定义Class调用DataSet API或DataStream API进行Flink应用的开发，然后通过编译打包，上传并提交到集群上运行。