Java Chassis 3技术解密:流式响应和人工智能应用开发

举报
liubao68 发表于 2024/06/27 11:52:57 2024/06/27
【摘要】 本文揭秘了Java Chassis 3流式响应的使用场景和技术背景。

Java Chassis 3技术解密:流式响应和人工智能应用开发

随着生成式人工智能技术的发展,应用程序开发者对于流式响应(Streaming Responses)的诉求越来越多。服务器事件推送(Server Push Events)技术能够在使用HTTP协议的前提下,提供流式响应能力。然而,在微服务架构下使用流式响应并不是那么方便,现有的各个微服务开发框架都需要使用不同于响应应答的普通REST接口额外能力,采用新的技术或者API来满足流式响应的开发诉求,增加了技术成本。

Java Chassis 3基于服务器事件推送和响应式流(reactive streams)标准,提供了非常简洁的流式响应开发能力,简化人工智能应用开发体验。

使用流式响应

首先,看看微服务架构下一个简单的调用场景。

  前端(浏览器) -> 应用网关(edge service) -> 消费者微服务 -> 提供者微服务
  • 提供者微服务:定义流式响应服务和生成流式响应

定义流式响应服务非常简单,只需要将响应类型声明为 Publisher。 业务逻辑可以使用 RxJava 或者 Reactor 等框架生成流式响应。 在下面的例子中,使用 RxJava3 的API来实现流式响应。

@RestSchema(schemaId = "ReactiveStreamController")
@RequestMapping(path = "/")
public class ReactiveStreamController {
  @GetMapping("/sseString")
  public Publisher<String> sseString() {
    return Flowable.fromArray("a", "b", "c");
  }

  @GetMapping("/sseModel")
  public Publisher<Model> sseModel() {
    return Flowable.intervalRange(0, 5, 0, 1, TimeUnit.SECONDS)
        .map(item -> new Model("jack", item.intValue()));
  }
}
  • 消费者微服务: 消费流式响应,并对外提供新的流式响应服务

消费者可以像调用普通REST接口一样调用流式响应服务,开发起来非常简单。

@RestSchema(schemaId = "ReactiveStreamController")
@RequestMapping(path = "/")
public class ConsumerReactiveStreamController {
  interface ProviderReactiveStreamController {
    Publisher<String> sseString();

    Publisher<Model> sseModel();
  }

  @RpcReference(microserviceName = "provider", schemaId = "ReactiveStreamController")
  ProviderReactiveStreamController controller;

  @GetMapping("/sseString")
  public Publisher<String> sseString() {
    return controller.sseString();
  }

  @GetMapping("/sseModel")
  public Publisher<Model> sseModel() {
    return controller.sseModel();
  }
}
  • 应用网关:透明转发

应用网关无需做额外配置,能够实现流式响应的透明转发。

  • 前端(浏览器):消费消息

大部分浏览器都支持通过 EventSource 消费流式响应。下面是简单的代码片段:

<script>
    var sse = new EventSource("http://localhost:9090/sseModel");

    sse.onmessage = function (ev) {
        var elementById = document.getElementById("ssediv");
        elementById.innerHTML = elementById.innerHTML + "\n" + ev.data;
    }

    sse.onerror = function (){
        sse.close()
    }

    sse.onopen = function (){
    }
</script>

相关的技术实现

Spring Boot采用SseEmitter来定义服务器事件推送,如果需要使用流式响应,则必须使用WebFlux,在微服务场景下,则需要使用WebClient来消费。这些使用方式与WebMvc集成和注册发现集成都会带来非常大的开发麻烦。 Java Chassis 3给开发者提供了非常棒的统一一致的开发体验。

小艺 人工智能应用中,需要大量使用流式响应,包括微服务之间。为了实现这些功能,需要额外开发大量代码,并且与现有的REST框架没有实现统一一致的服务治理规范,给应用的可维护性和质量带来了隐患。 通过新的流式响应API能够极大的简化小艺场景的开发。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。