SpringCloud Stream消息驱动

举报
别团等shy哥发育 发表于 2023/01/09 18:35:57 2023/01/09
【摘要】 @[toc](SpringCloud Stream消息驱动)代码仓库地址 1、消息驱动概述 1.1 什么是SpringCloud Stream?  官方定义 Spring Cloud Stream 是一个构建消息驱动微服务的框架。应用程序通过 inputs 或者 outputs 来与 Spring Cloud Stream中binder对象交互。通过我们配置来binding(绑定) ，而 S...

@[toc](SpringCloud Stream消息驱动)

代码仓库地址

1、消息驱动概述

1.1 什么是SpringCloud Stream?

  官方定义 Spring Cloud Stream 是一个构建消息驱动微服务的框架。应用程序通过 inputs 或者 outputs 来与 Spring Cloud Stream中binder对象交互。通过我们配置来binding(绑定) ，而 Spring Cloud Stream 的 binder对象负责与消息中间件交互。

  通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动。Spring Cloud Stream 为一些供应商的消息中间件产品提供了个性化的自动化配置实现，引用了发布-订阅、消费组、分区的三个核心概念。目前仅支持RabbitMQ、Kafka。

  所以，我们只需要搞清楚如何与 Spring Cloud Stream 交互就可以方便使用消息驱动的方式。

  一句话：屏蔽底层消息中间件的差异,降低切换成本，统一消息的编程模型。

  官方文案：https://spring.io/projects/spring-cloud-stream#overview

image-20220410231413319

https://cloud.spring.io/spring-cloud-static/spring-cloud-stream/3.0.1.RELEASE/reference/html/

1.2 消息驱动的设计思想

1.2.1 标准的MQ

image-20220410232110335

  • 生产者/消费者之间靠消息媒介传递信息内容

  • 消息必须走特定的通道:消息通道MessageChannel

  • 消息通道里的消息如何被消费呢，谁负责收发处理:消息通道MessageChannel的子接口SubscribableChannel，由MessageHandler消息处理器所订阅

1.2.2 为什么用SpringCloud Stream?

  在没有绑定器这个概念的情况下，我们的SpringBoot应用要直接与消息中间件进行信息交互的时候，由于各消息中间件构建的初衷不同，它们的实现细节上会有较大的差异性。通过定义绑定器作为中间层，完美地实现了应用程序与消息中间件细节之间的隔离。通过向应用程序暴露统一的Channel通道，使得应用程序不需要再考虑各种不同的消息中间件实现。

  ==通过定义绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离。==

1.2.3 Stream应用编程模型

  应用程序通过inputs或者outputs与Spring Cloud Stream中的binder交互，通过配置来binding，Spring Cloud Stream的binder负责与消息中间件交互，如下图所示。

image-20220410232445445

  Stream对消息中间件的进一步封装，可以做到代码层面对中间件的无感知，甚至于动态的切换中间件(rabbitmq切换为kafka)，使得微服务开发的高度解耦，服务可以关注更多自己的业务流程

  通过定义绑定器Binder作为中间层，实现了应用程序与消息中间件细节之间的隔离。

  Binder层负责和MQ中间件的通信，应用程序Application Core通过inputs接收Binder包装后的Message，相当于是消费者Consumer；通过outputs投递Message给Binder，然后由Binder转换后投递给MQ中间件，相当于是生产者Producer。

   Channel描述的是消息从应用程序和Binder之间的流通通道。

   Stream中的消息通信方式遵循了发布-订阅模式

1.2.4 Spring Cloud Stream标准流程套路

image-20220410233041736

  • Binder:很方便的连接中间件，屏蔽差异
  • Channel:通道，是队列Queue的一种抽象，在消息通讯系统中就是实现存储和转发的媒介，通过Channel对队列进行配置。
  • Source和Sink：简单的可理解为参照对象是Spring Cloud Stream自身，从Stream发布消息就是输出，接受消息就是输入。

1.2.5 编程API和常用注解

组成 说明
Middleware 中间件，目前只支持RabbitMQ和Kafka
Binder Binder是应用与消息中间件之间的封装，目前实行了Kafka和RabbitMQ的Binder，通过Binder可以很方便的连接中间件，可以动态的改变消息模型(对应于Kafka的topic，RabbitMQ的exchange)，这些都可以通过配置文件来实现。
@Input 注解标识输入通道，通过该输入通道接收到的消息进入应用程序
@Output 注解标识输出通道，发布的消息将通过该通道离开应用程序
@StreamListener 监听队列，用于消费者的队列的消息接收
@EnableBinding 指信道channel和exchange绑定在一起

2、案例说明

  这里我们假定你的RabbitMQ环境已经配置好了。

  工程中新建三个子模块

  cloud-stream-rabbitmq-provider8801， 作为生产者进行发消息模块

  cloud-stream-rabbitmq-consumer8802，作为消息接收模块

  cloud-stream-rabbitmq-consumer8803 作为消息接收模块

image-20220410233738661

3、消息驱动之生产者搭建

3.1 新建cloud-stream-rabbitmq-provider8801模块

image-20220410233842885

3.2 pom.xml

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>
        <!--基础配置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

3.3 application.yml

server:
  port: 8801

spring:
  application:
    name: cloud-stream-provider
  cloud:
      stream:
        binders: # 在此处配置要绑定的rabbitmq的服务信息；
          defaultRabbit: # 表示定义的名称，用于于binding整合
            type: rabbit # 消息组件类型
            environment: # 设置rabbitmq的相关的环境配置
              spring:
                rabbitmq:
                  host: localhost
                  port: 5672
                  username: guest
                  password: guest
        bindings: # 服务的整合处理
          output: # 这个名字是一个通道的名称
            destination: studyExchange # 表示要使用的Exchange名称定义
            content-type: application/json # 设置消息类型，本次为json，文本则设置“text/plain”
            binder: defaultRabbit # 设置要绑定的消息服务的具体设置

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: send-8801.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

3.4 主启动类

@SpringBootApplication
public class StreamMQMain8801
{
    public static void main(String[] args)
    {
        SpringApplication.run(StreamMQMain8801.class,args);
    }
}

3.5 业务类

发送消息接口

image-20220410234046935

  发送消息接口实现类：

@EnableBinding(Source.class)//理解为定义消息的推送管道
public class IMessageProviderImpl implements IMessageProvider {

    @Resource
    private MessageChannel output;  //消息发送管道

    @Override
    public String send() {
        String serial= UUID.randomUUID().toString();
        output.send(MessageBuilder.withPayload(serial).build());
        System.out.println("****serial: "+serial);
        return serial;
    }
}

  Controller:

@RestController
public class SendMessageController {
    @Resource
    private IMessageProvider messageProvider;

    @GetMapping(value = "/sendMessage")
    public String sendMessage(){
        return messageProvider.send();
    }
}

3.6 测试

  启动服务注册中心模块eureka7001

  启动rabbitmq,开启web管理面板：rabbitmq-plugins enable rabbitmq_management

  http://localhost:15672/

image-20220410234238103

  启动8001

image-20220410234253014

  访问：http://localhost:8801/sendMessage，多刷新几次之后观察控制台

image-20220410235053231

4、消息驱动之消费者

4.1 新建cloud-stream-rabbitmq-consumer8802模块

image-20220410235144809

4.2 pom.xml

 <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-stream-rabbit</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <!--基础配置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

4.3 application.yml

server:
  port: 8802

spring:
  application:
    name: cloud-stream-consumer
  cloud:
      stream:
        binders: # 在此处配置要绑定的rabbitmq的服务信息；
          defaultRabbit: # 表示定义的名称，用于于binding整合
            type: rabbit # 消息组件类型
            environment: # 设置rabbitmq的相关的环境配置
              spring:
                rabbitmq:
                  host: localhost
                  port: 5672
                  username: guest
                  password: guest
        bindings: # 服务的整合处理
          input: # 这个名字是一个通道的名称
            destination: studyExchange # 表示要使用的Exchange名称定义
            content-type: application/json # 设置消息类型，本次为对象json，如果是文本则设置“text/plain”
            binder: defaultRabbit # 设置要绑定的消息服务的具体设置

eureka:
  client: # 客户端进行Eureka注册的配置
    service-url:
      defaultZone: http://localhost:7001/eureka
  instance:
    lease-renewal-interval-in-seconds: 2 # 设置心跳的时间间隔（默认是30秒）
    lease-expiration-duration-in-seconds: 5 # 如果现在超过了5秒的间隔（默认是90秒）
    instance-id: receive-8802.com  # 在信息列表时显示主机名称
    prefer-ip-address: true     # 访问的路径变为IP地址

4.4 主启动类

@SpringBootApplication
public class StreamMQMain8802
{
    public static void main(String[] args)
    {
        SpringApplication.run(StreamMQMain8802.class,args);
    }
}

4.5 业务类

@Component
@EnableBinding(Sink.class)
public class ReceiveMessageListener {

    @Value("${server.port}")
    private String serverPort;

    @StreamListener(Sink.INPUT) //监听队列，用于消费者队列的消息接收
    public void input(Message<String> message){
        System.out.println("消费者1号，----->接收到的消息："+message.getPayload()+"\tport:"+serverPort);
    }
}

image-20220410235329314

  测试8801发送消息8802接收消息

  启动该模块

  访问：http://localhost:8801/sendMessage

image-20220410235540660

  消息生产者：

image-20220410235622010

  消息消费者：

image-20220410235640303

5、消息分组与持久化

5.1 依照8002，clone一份8003出来

  cloud-stream-rabbitmq-consumer8803，该模块配置除了端口号，其他和8002完全一致，不赘述了。

image-20220410235827889

5.2 启动

  启动RabbitMQ

  启动eureka7001模块

  启动provider8801，consumer8002，consumer8003

  发送消息之后观察两个消费者的控制台

image-20220411000106717

image-20220411000117707

image-20220411000128408

  可以发现，目前是8802/8803同时都收到了，存在重复消费问题

5.3 消息重复消费案例

  比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那如果一个订单同时被两个服务获取到，那么就会造成数据错误，我们得避免这种情况。这时我们就可以使用Stream中的消息分组来解决。

image-20220411000235894

  注意在Stream中处于同一个group中的多个消费者是竞争关系，就能够保证消息只会被其中一个应用消费一次。
  ==不同组是可以全面消费的(重复消费)，同一组内会发生竞争关系，只有其中一个可以消费。==

5.4 分组

5.4.1 分组原理

  微服务应用放置于同一个group中，就能够保证消息只会被其中一个应用消费一次。不同的组是可以消费的，同一个组内会发生竞争关系，只有其中一个可以消费。

5.4.1 group配置

  8802修改yml

image-20220411003639671

  8803修改yml

image-20220411003708426

5.4.3 分组之后的测试

  重启四个服务

image-20220411003818024

  访问：http://localhost:8801/sendMessage

image-20220411003848245

  发现8802消费者1收到消息

image-20220411003927221

  8803并没有收到

image-20220411003941721

  说明同组竞争配置是成功的。

  结论：同一个组的多个微服务实例，每次只会有一个拿到消息。

5.5 持久化

   通过上述，解决了重复消费问题，再看看持久化

  停止8802/8803并去除掉8802的分组group: groupA，8803的分组group: groupA没有去掉

  8801先发送4条消息到rabbitmq

image-20220411004220078

  先启动8802，无分组属性配置，后台没有打出来消息

image-20220411004310406

  再启动8803，有分组属性配置，后台打出来了MQ上的消息

image-20220411004349666

  到此，Spring Cloud Stream消息驱动就写完了。

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
RabbitMQ Spring Spring Cloud
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入