生产者-消费者模式的任务调度 BlockingQueue接口及lua、Java、golang这语言中关于协程、纤程、线程使用

举报
yd_249383650 发表于 2023/03/29 21:29:05 2023/03/29
【摘要】 生产者-消费者模式指的是一种消息传递模型,在该模型中,工作单元(任务)被称为消息,由生产者发送给一个或多个消费者进行处理。这种模型可以用于任务调度、消息中间件等场景。1.1 任务调度任务调度是指按照一定策略和规则,在一定时间内安排和控制各项任务的执行,通常由调度程序完成。在任务调度中,生产者可以将任务发送到任务队列中,消费者则从该队列中获取任务进行处理。例如,如果有一个任务需要在每天凌晨执行...

生产者-消费者模式指的是一种消息传递模型,在该模型中,工作单元(任务)被称为消息,由生产者发送给一个或多个消费者进行处理。这种模型可以用于任务调度、消息中间件等场景。

1.1 任务调度

任务调度是指按照一定策略和规则,在一定时间内安排和控制各项任务的执行,通常由调度程序完成。在任务调度中,生产者可以将任务发送到任务队列中,消费者则从该队列中获取任务进行处理。例如,如果有一个任务需要在每天凌晨执行,那么可以通过生产者提交这个任务到任务队列中,由消费者在指定的时间点执行。

1.2 消息中间件

消息中间件是一种在分布式系统中用于消息传递的软件,它可以解耦应用程序的不同部分,提高应用程序的可伸缩性和可靠性。在消息中间件中,生产者将消息发送到消息队列中,由消费者从队列中获取消息进行处理。这种模型可以应用于分布式系统中的不同应用间的消息传递、异步处理以及分布式任务调度等场景。

1.3 场景

生产者-消费者模式可以应用于各种场景,例如:

- 任务调度:通过生产者-消费者模式,可以实现定时或异步执行任务的功能;
- 消息中间件:通过生产者-消费者模式,可以实现消息队列和异步消息处理等功能;
- 分布式计算:通过生产者-消费者模式,可以将分布式计算任务分配到不同的计算节点上进行处理;
- 并发编程:通过生产者-消费者模式,并发编程可以更加简单明了,生产者负责产生数据,消费者负责处理数据,两者之间通过队列进行关联。

总之,生产者-消费者模式是一种非常通用的消息传递模型,可以应用于各种场景,包括任务调度、消息中间件以及分布式系统等。


BlockingQueue是Java中一个重要的线程安全的队列接口,提供了阻塞的插入和移除操作。而ArrayBlockingQueue和LinkedBlockingQueue都是BlockingQueue接口的实现类,它们都提供了相同的功能。

1.底层数据结构不同:

ArrayBlockingQueue是一个由数组支持的有界队列,其底层实现采用的是数组结构,因此它的容量是有限的。在创建ArrayBlockingQueue时需要指定容量大小。当队列满时,再向队列中添加元素的操作将被阻塞。

LinkedBlockingQueue是一个由链表组成的并发队列,其底层实现采用的是链表结构,因此它的容量是无限的。在不指定容量时,默认容量为Integer.MAX_VALUE。

2.不同的阻塞方式:

当调用ArrayBlockingQueue的take或put方法时,如果队列为空或已满,线程将会被阻塞。而对于LinkedBlockingQueue,如果调用take或put方法且队列为空或已满时,线程也会被阻塞。

但是LinkedBlockingQueue还提供了offer、poll等方法。这些方法均可以设置超时时间。如果在超时时间内依然无法进行操作,则方法返回false或null。

3.性能差异:

由于ArrayBlockingQueue是一个基于数组的有界队列,因此在队列元素数量大的情况下,其性能较LinkedBlockingQueue略低。但是,在小队列情况下,ArrayBlockingQueue的空间和时间倒是更加可控。

而LinkedBlockingQueue由于采用的是链表结构,插入和移除操作都是O(1)复杂度的,因此在队列元素数量较大时,其性能要优于ArrayBlockingQueue。但是在小队列情况下,LinkedBlockingQueue的空间使用率较低,却比ArrayBlockingQueue慢一点。


1. Lua
Lua语言原生支持协程,被称为“轻量级线程”,能够使程序以非阻塞方式运行,从而提高程序运行的效率和性能。协程的核心是yield函数,在函数执行过程中执行yield函数将暂停函数的执行,并返回执行权到调用协程的代码中,这种机制使得在执行过程中可以方便地进行协作式多任务处理。Lua多数的协程库都是通过函数和yield实现的。

根据调研发现,Lua语言中常用的协程库包括coroutine和copas,coroutine库是基于Lua语言本身的协程实现,比较简单易用,copas是一个通用的基于Lua语言的协程处理框架,提供了众多的协程处理接口,适用于网络编程、客户端和服务器端通信等场景。

2. Java
Java语言原生支持线程(Thread),可以通过Thread类或Runnable接口来创建线程。Java的线程系统采用的是操作系统提供的线程机制,对于Java程序员来说,可以方便地调用许多成熟的相关库,如Java Concurrency API等。Java的多线程机制使得程序可以同时执行多项任务,例如同时读取和写入多个文件,设备控制和处理多个网络连接等。

Java线程的一大特点是线程之间的通信和共享数据。Java提供了synchronized关键字来实现线程之间的同步和互斥,在多线程程序中常常与关键字wait和notify搭配使用。为了提高线程效率,Java的线程还支持线程池和对象池。

3. Go
Go语言原生支持协程,称之为“goroutine”。在Go语言中,goroutine使用起来非常简单,只需要在函数前加上关键字go就能创建一个协程。Go的协程使用的是轻量级的线程,可以在同一进程内创建数以百万计的协程,可以理解为大量的轻量级线程,协程间的调度是由Go语言运行时完成的,无需用户干涉。在多协程程序中,Go还采用了channel作为通信手段,提供了一种高效地协程间通信和同步的方式。

另外,Go语言还采用了“协程的强类型化”和“退出的自动化”特点,这使得协程的代码更加健壮、高效和安全。协程也常常用于高并发的网络编程、运行一些较长时间的任务或处理高并发数据流的场景。在Go语言中,使用goroutine同时与几百个客户端建立连接是很容易的,因为协程只会在等待读或写IO时才会停止,对协程使用系统资源的开销非常小,因此可以为所欲为地创建协程。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。