走进Java接口测试之从0到1搭建数据驱动框架（多数据源和业务持久层）

前言

在前三篇文章中，我们分别介绍了需求、设计、以及测试管理的实现功能，本篇我们一起来实现多数据和业务持久层开发。

• 走进Java接口测试之从0到1搭建数据驱动框架（需求篇）
• 走进Java接口测试之从0到1搭建数据驱动框架（设计篇）
• 走进Java接口测试之从0到1搭建数据驱动框架（用例管理）

全部代码骨架结构

├─logs
│  └─spring-boot-logback 			# 日志文件
│          all_api-test-logback.log # 所有日志
│          err_api-test-logback.log # 错误日志
├─src
│  ├─main
│  │  ├─java
│  │  │  └─com
│  │  │      └─zuozewei
│  │  │          └─springbootdatadrivendemo
│  │  │              │  SpringbootDataDrivenDemoApplication.java # 启动类
│  │  │              │  
│  │  │              ├─db
│  │  │              │  ├─auto      # 存放MyBatis Generator生成器生成的数据层代码，可以随时删除再生成
│  │  │              │  │  ├─mapper # DAO 接口
│  │  │              │  │  └─model  # Entity 实体
│  │  │              │  └─manual    # 存放自定义的数据层代码，包括对MyBatis Generator自动生成代码的扩展
│  │  │              │      ├─mapper # DAO 接口     
│  │  │              │      └─model  # Entity 实体
│  │  │              ├─handler  # 数据转换
│  │  │              └─service # 业务逻辑
│  │  │                  └─impl # 实现类
│  │  │                          
│  │  └─resources
│  │      │  application.yml  	 # 全局配置文件
│  │      │  generatorConfig.xml # Mybatis Generator 配置文件
│  │      │  logback-spring.xml	 # logback 配置文件
│  │      │  spy.properties      # P6Spy 配置文件
│  │      │  
│  │      ├─db
│  │      ├─mapper
│  │      │  └─com
│  │      │      └─zuozewei
│  │      │          └─springbootdatadrivendemo
│  │      │              └─db
│  │      │                  ├─auto      # 存放MyBatis Generator生成器生成的数据层代码，可以随时删除再生成
│  │      │                  │  └─mapper # 数据库 Mapping 文件
│  │      │                  │          
│  │      │                  └─manual    # 存放自定义的数据层代码，包括对MyBatis Generator自动生成代码的扩展 
│  │      │                      └─mapper # 数据库 Mapping 文件                          
│  │      └─testng
│  │          │  APICollection-TestSuite.xml # 所用测试用例集
│  │          └─jdbcbapi
│  │                  jdbcAPI-TestSuite.xml  # 某API测试用例集
│  │                  
│  └─test
│      └─java
│          └─com
│              └─zuozewei
│                  └─springbootdatadrivendemo
│                      └─demo   # 接口测试用例   
├─pom.xml 

多数据源

上面介绍了我们的用例管理使用的是 MySQL 数据库，而本文我们演示的是业务数据库使用的是 H2，那么必然的我们需要面对处理多数据源的问题。而在需求篇我们分析过了传统方式，确实可用，不足在于需要根据不同数据源建立不同的 package，一旦数据源发生变更，需要更改所在的 package。也看过了动态数据源，不能满足我们多数据源的需求。

而经过查找，我们发现一个开源的项目，即 dynamic-datasource-spring-boot-starter 可以满足我们的需求。

工具简介

dynamic-datasource-spring-boot-starter 是一个基于 springboot 的快速集成多数据源的启动器。
其支持 Jdk 1.7+, SpringBoot 1.4.x 1.5.x 2.0.x。

特性：

• 数据源分组，适用于多种场景 纯粹多库 读写分离 一主多从 混合模式。
• 内置敏感参数加密和启动初始化表结构 schema 数据库 database。
• 提供对 Druid，Mybatis-Plus，P6sy，Jndi 的快速集成。
• 简化 Druid 和 HikariCp 配置，提供全局参数配置。
• 提供自定义数据源来源接口(默认使用 yml 或 properties 配置)。
• 提供项目启动后增减数据源方案。
• 提供Mybatis环境下的 纯读写分离 方案。
• 使用 spel 动态参数解析数据源，如从 session，header 或参数中获取数据源。（多租户架构神器）
• 提供多层数据源嵌套切换。（ServiceA >>> ServiceB >>> ServiceC，每个 Service 都是不同的数据源）
• 提供 不使用注解 而 使用 正则 或 spel 来切换数据源方案（实验性功能）。

约定：

• 本框架只做 切换数据源 这件核心的事情，并不限制你的具体操作，切换了数据源可以做任何CRUD。
• 配置文件所有以下划线 _ 分割的数据源 首部 即为组的名称，相同组名称的数据源会放在一个组下。
• 切换数据源可以是组名，也可以是具体数据源名称。组名则切换时采用负载均衡算法切换。
• 默认的数据源名称为 master ，你可以通过 spring.datasource.dynamic.primary 修改。
• 使用 @DS 切换数据源。@DS 可以注解在方法上和类上，同时存在方法注解优先于类上注解。

常见示例：

# 多主多从                      纯粹多库（记得设置primary）                   混合配置
spring:                               spring:                               spring:
  datasource:                           datasource:                           datasource:
    dynamic:                              dynamic:                              dynamic:
      datasource:                           datasource:                           datasource:
        master_1:                             mysql:                                master:
        master_2:                             oracle:                               slave_1:
        slave_1:                              sqlserver:                            slave_2:
        slave_2:                              postgresql:                           oracle_1:
        slave_3:                              h2:                                   oracle_2:

我们这里使用需要注意点有：

• 与 Druid，P6sy 快速集成；
• 对 Druid 进行全局参数配置；
• 只使用 切换数据源 这件核心的事情，并不涉及具体其他操作，切换了数据源可以做任何 CRUD；
• 设置默认的数据源；
• 使用 @DS 切换数据源。@DS 同时注解在方法上和类上。

配置数据源

引包：

<!--快速集成多数据源的启动器-->
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
    <version>2.5.6</version>
</dependency>

配置 application.yml 文件：

spring:
  datasource:
    dynamic:
      primary: mysql    # 设置默认的数据源或者数据源组,默认值即为 master
      strict: false    # 设置严格模式,默认 false 不启动. 启动后在未匹配到指定数据源时候回抛出异常,不启动会使用默认数据源.
      datasource:
        mysql_1:     # 测试用例库
          username: zuozewei
          password: zuozewei
          url: jdbc:mysql://172.16.106.188:3306/autotest?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false
          driver-class-name: com.mysql.cj.jdbc.Driver
          continue-on-error: true   # 默认true,初始化失败是否继续
          separator: ";"             # sql 默认分号分隔符
        mysql_2:   # 业务数据库
          username: zuozewei
          password: zuozewei
          url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&useSSL=false
          driver-class-name: com.mysql.cj.jdbc.Driver
          continue-on-error: true   # 默认true,初始化失败是否继续
          separator: ";"             # sql 默认分号分隔符
        h2:       # 业务数据库
          username: sa
          password: ""
          url: jdbc:h2:mem:test
          driver-class-name: org.h2.Driver
          schema: db/schema.sql       # 配置则生效,自动初始化表结构
          data: db/data.sql           # 配置则生效,自动初始化数据
          continue-on-error: true    # 默认true,初始化失败是否继续
          separator: ";"             # sql 默认分号分隔符
          druid:                      # 这里可以重写默认值
            initial-size: 5
            public-key: MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBAKUVA/IL/iON8f63bv2i/pIAK+1sXY228slLkTKrI9axwBMIoPV7+PqdRTv6uqMl3j6nei0EDBWEu/Wp/qOQ/ScCAwEAAQ==

使用 @DS 切换数据源。建议只注解在 service 实现类上。比如我们指定取用例 service 方法的数据源：

**
 * 描述: 参数化自定义查询实现类
 *
 * @author zuozewei
 * @create 2019-11-21 16:04
 */

@Service
public class TestDataServiceImpl implements TestDataService {

    @Resource
    private TestDataMapper testDataMapper;

    @DS("mysql_1")
    @Override
    public List<LinkedHashMap<String, Object>> selectBysql(String sql) {
        return testDataMapper.selectBysql(sql);
    }

}

启动工程

启动的时候，我们可以看到各数据源已初始化成功。

业务持久层

业务持久层的框架，我们依旧选择统一使用 Mybatis。在使用 Mybatis 的时候，Dao 接口，Entity 实体类，还有每个实体类对应的 xml 都得自己写，这其实也是工作量很大的事情，维护起来也很费劲，使用我们这里选用的是 mybatis-generator 或 mybatis-generator-gui 来快速生成 Mybatis 的Java POJO文件及数据库 Mapping 文件。

初始化数据

这里我们演示的业务数据库是 H2，数据库的表结构脚本 schema.sql：

drop table t_coffee if exists;
create table t_coffee (
    id bigint not null auto_increment,
    name varchar(255),
    price bigint not null,
    create_time timestamp,
    update_time timestamp,
    primary key (id)
);

初始化数据脚本 data.sql：

insert into t_coffee (name, price, create_time, update_time) values ('espresso', 2000, now(), now());
insert into t_coffee (name, price, create_time, update_time) values ('latte', 2500, now(), now());
insert into t_coffee (name, price, create_time, update_time) values ('capuccino', 2500, now(), now());
insert into t_coffee (name, price, create_time, update_time) values ('mocha', 3000, now(), now());
insert into t_coffee (name, price, create_time, update_time) values ('macchiato', 3000, now(), now());

这两个SQL文件都放到 src\main\resources\db 下。

处理自定义类型

这里的 price 我们扩展了自定义类型，所以我们需要使用 TypeHandler 解决自定义类型预处理。因为 price 是 joda-money 类型，数据库中却是 bigint 类型。MyBatis 为我们提供的方法即是 TypeHandler 来应对 Java 和 jdbc 字段类型不匹配的情况。MyBatis 中内置了不少的TypeHandler，如果我们想要自己自定义一个 TypeHandler 可以实现 TypeHandler 接口，也可以继承 BaseTypeHandler 类。下面我们实现一个将 Java 中的 joda-money 类型利用我们自定义的 MoneyTypeHandler 来转换为 JDBC 的 bigint 类型。

引包：

!--money类型-->
<dependency>
    <groupId>org.joda</groupId>
    <artifactId>joda-money</artifactId>
    <version>LATEST</version>
</dependency>

新建一个 handler package，编写 MoneyTypeHandler.java：

/**
 * 在 Money 与 Long 之间转换的 TypeHandler，处理 CNY 人民币
 */

public class MoneyTypeHandler extends BaseTypeHandler<Money> {

    /**
     *  设置非空参数
     * @param ps
     * @param i
     * @param parameter
     * @param jdbcType
     * @throws SQLException
     */
    @Override
    public void setNonNullParameter(PreparedStatement ps, int i, Money parameter, JdbcType jdbcType) throws SQLException {
        ps.setLong(i, parameter.getAmountMinorLong());
    }

    /**
     * 根据列名，获取可以为空的结果
     * @param rs
     * @param columnName
     * @return
     * @throws SQLException
     */
    @Override
    public Money getNullableResult(ResultSet rs, String columnName) throws SQLException {
        return parseMoney(rs.getLong(columnName));
    }

    /**
     * 根据列索引，获取可以为空的结果
     * @param rs
     * @param columnIndex
     * @return
     * @throws SQLException
     */
    @Override
    public Money getNullableResult(ResultSet rs, int columnIndex) throws SQLException {
        return parseMoney(rs.getLong(columnIndex));
    }

    /**
     *
     * @param cs
     * @param columnIndex
     * @return
     * @throws SQLException
     */
    @Override
    public Money getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {
        return parseMoney(cs.getLong(columnIndex));
    }

    /**
     *  处理 CNY 人民币
     * @param value
     * @return
     */
    private Money parseMoney(Long value) {
        return Money.of(CurrencyUnit.of("CNY"), value / 100.0);
    }
}

使用 mybatis-generator

MyBatis Generator是 MyBatis 的代码生成器，支持为 MyBatis 的所有版本生成代码。非常容易及快速生成 Mybatis 的Java POJO文件及数据库 Mapping 文件。

引包：

<!--mybatis-generator生成器-->
<dependency>
    <groupId>org.mybatis.generator</groupId>
    <artifactId>mybatis-generator-core</artifactId>
    <version>1.3.7</version>
</dependency>

配置 generatorConfig.xml：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE generatorConfiguration
        PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
        "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">

<generatorConfiguration>
    <context id="H2Tables" targetRuntime="MyBatis3">
        <!--支持流式 fluent 方法-->
        <plugin type="org.mybatis.generator.plugins.FluentBuilderMethodsPlugin" />
        <!-- 自动生成toString方法 -->
        <plugin type="org.mybatis.generator.plugins.ToStringPlugin" />
        <!-- 自动生成hashcode方法 -->
        <plugin type="org.mybatis.generator.plugins.SerializablePlugin" />
        <!-- 分页插件 -->
        <plugin type="org.mybatis.generator.plugins.RowBoundsPlugin" />

        <!--数据库连接信息-->
        <jdbcConnection driverClass="org.h2.Driver"
                        connectionURL="jdbc:h2:mem:test"
                        userId="sa"
                        password="">
        </jdbcConnection>

        <!--模型生成器、Mapper生成器-->
        <javaModelGenerator targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.model"
                            targetProject="./src/main/java">
            <property name="enableSubPackages" value="true" />
            <property name="trimStrings" value="true" />
        </javaModelGenerator>
        <sqlMapGenerator targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.mapper"
                         targetProject="./src/main/resources/mapper">
            <property name="enableSubPackages" value="true" />
        </sqlMapGenerator>
        <javaClientGenerator type="MIXEDMAPPER"
                             targetPackage="com.zuozewei.springbootdatadrivendemo.db.auto.mapper"
                             targetProject="./src/main/java">
            <property name="enableSubPackages" value="true" />
        </javaClientGenerator>

        <!--表映射-->
        <table tableName="t_coffee" domainObjectName="Coffee" >
            <generatedKey column="id" sqlStatement="CALL IDENTITY()" identity="true" />
            <columnOverride column="price" javaType="org.joda.money.Money" jdbcType="BIGINT"
                            typeHandler="com.zuozewei.springbootdatadrivendemo.handler.MoneyTypeHandler"/>
        </table>
    </context>
</generatorConfiguration>

注意：

• id 是自增的；
• price 字段需要映射到 MoneyTypeHandler。

启动方法

在工程启动类编写一个调用方法：

@SpringBootApplication(exclude = DruidDataSourceAutoConfigure.class)
@Slf4j
@MapperScan("com.zuozewei.springbootdatadrivendemo.db")
public class SpringbootDataDrivenDemoApplication  implements ApplicationRunner {

    public static void main(String[] args) {
        SpringApplication.run(SpringbootDataDrivenDemoApplication.class, args);
        log.info("程序启动！");
    }

    @Override
    public void run(ApplicationArguments args) throws Exception {
		generateArtifacts();
        log.info("启动generateArtifacts");
    }

    /**
     * 执行MyBatisGenerator
     * @throws Exception
     */
    private void generateArtifacts() throws Exception {
        List<String> warnings = new ArrayList<>();
        ConfigurationParser cp = new ConfigurationParser(warnings);
        Configuration config = cp.parseConfiguration(
                this.getClass().getResourceAsStream("/generatorConfig.xml"));
        DefaultShellCallback callback = new DefaultShellCallback(true);
        MyBatisGenerator myBatisGenerator = new MyBatisGenerator(config, callback, warnings);
        myBatisGenerator.generate(null);
    }

}

启动工程：

检查配置文件指定路径是否生成文件：

使用 mybatis-generator-gui

还有一种简易的方法生成 Mybatis 的 Java POJO 文件及数据库 Mapping 文件，即使用 mybatis-generator-gui 工具。

简介

mybatis-generator-gui 是基于 mybatis generator 开发一款界面工具, 本工具可以使你非常容易及快速生成 Mybatis 的 Java POJO 文件及数据库 Mapping 文件。

核心特性：

• 按照界面步骤轻松生成代码，省去 XML 繁琐的学习与配置过程
• 保存数据库连接与 Generator 配置，每次代码生成轻松搞定
• 内置常用插件，比如分页插件
• 支持 OverSSH 方式，通过 SSH 隧道连接至公司内网访问数据库
• 把数据库中表列的注释生成为 Java 实体的注释，生成的实体清晰明了
• 可选的去除掉对版本管理不友好的注释，这样新增或删除字段重新生成的文件比较过来清楚
• 目前已经支持 Mysql、Mysql8、Oracle、PostgreSQL 与 SQL Server，暂不对其他非主流数据库提供支持。(MySQL 支持的比较好)

要求：
由于使用了 Java 8 的众多特性，所以要求 JDK 1.8.0.60 以上版本，另外 JDK 1.9 暂时还不支持。

构建工具

git clone https://github.com/zouzg/mybatis-generator-gui
cd mybatis-generator-gui
mvn jfx:jar
cd target/jfx/app/
java -jar mybatis-generator-gui.jar

使用示例

由于目前不支持 H2 数据库，故使用示意图代替：

实现Service方法

在 service package 下新建 Service 接口 CoffeeService.java：

/**
 * 描述: coffee Service
 *
 * @author zuozewei
 * @create 2019-11-21 18:00
 */

public interface CoffeeService {

  // 插入
  int addCoffee(Coffee coffee);

  // 查询
  List selectCoffeeFromDs(CoffeeExample coffeeExample) throws InterruptedException;

}

实现 CoffeeService 接口，并使用注解指定 h2 数据源，新建CoffeeServiceImpl.java：

/**
 * 描述: CoffeeService 实现类
 *
 * @author zuozewei
 * @create 2019-11-21 18:00
 */

@Service
@DS("h2")
public class CoffeeServiceImpl implements CoffeeService {

      @Resource
      private CoffeeMapper coffeeMapper;

      @Override
      public int addCoffee(Coffee coffee) {
        return coffeeMapper.insert(coffee);
      }

      @Override
      public List selectCoffeeFromDs(CoffeeExample coffeeExample) throws InterruptedException {
        return coffeeMapper.selectByExample(coffeeExample);
      }

    }

配置mybatis

在 application.yml 中配置 mybatis

mybatis:
  type-aliases-package: com.zuozewei.db # 自动扫描实体类所在的包
  type-handlers-package: com.zuozewei.handler # 指定 TypeHandler 所在的包
  configuration: 
    map-underscore-to-camel-case: true # 开启驼峰功能
    call-setters-on-nulls: true     # 调用setter null，返回空也必须设置到bean中  （直接执行sql专用）
  mapper-locations: classpath*:/mapper/**/*.xml # 扫描类路径下所有以xml文件结尾的文件

工程结构

最后，多数据源和业务持久层的工程结构大概是以下的样子：

小结

在今天这篇文章中，主要和大家分享了实现注解式多数据源和业务持久层开发的过程。在实现过程中，你最需要关注的几部分内容是：

• 基于 Mybatis Generator 或者 Mybatis Generator GUI 自动化生成持久层代码，节省大量重复开发工作；
• 使用 TypeHandler 解决自定义类型预处理；
• 实现注解式动态数据源，满足 N 个业务数据源测试需求。

希望对你能有所启发。