Redis实现任务队列

1.任务队列

松耦合性

  生产者和消费者无需知道彼此的实现细节，只需要约定好任务的描述格式，这使得生产者和消费者可以由不同的团队使用不同的编程语言编写。

易于扩展

  消费者可以有多个，而且可以分布在不同的服务器中，如下图，借此可以轻易的降低单台服务器的负载。

2.Redis实现任务队列

  redis中实现任务队列我们可以通过List中的LPUSH和RPOP命令来实现。如下：

// 无限循环读取任务队列中的内容
while(true){
	String task = rpop("queue");
	if(task != null){
		execute(task);
	}else{
		// 如果没有则等待1秒钟，防止过于频繁的请求数据
		Thread.sleep(1000);
	}
}

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
 

  上面的代码实现了一个简单的任务队列，但是还有点不完善，当任务队列中没有任务时消费者每秒都会调用RPOP命令查看是否有新任务，我们想要实现的是如果有新的任务添加进来我们能够立马知道，这时可以使用BRPOP命令来实现，BRPOP命令的作用和RPOP作用是一样的将List中最右侧的元素弹出并返回，唯一不同的是BRPOP是阻塞的。如果没有元素会一直等待到新加元素或超时。代码如下：

// 无限循环读取任务队列中的内容
while(true){
	String task = brpop("queue",0);
	// 执行任务
	execute(task);
}

  

 

  
1
  
2
  
3
  
4
  
5
  
6
 

BRPOP命令接收两个参数：第一个是key，第二个是超时时间，单位是秒，0表示不限制等待时间。打开两个redis-cli实例测试如下：

127.0.0.1:6379> brpop queue 0

  

 

  
1
 

进入等待状态。在另一个实例中执行命令

127.0.0.1:6379> lpush queue task
(integer) 1

  

 

  
1
  
2
 

阻塞的实例立马获取到了结果

127.0.0.1:6379> brpop queue 0
r1) "queue"
2) "task"
(23.39s)

  

 

  
1
  
2
  
3
  
4
 

3.优先级队列

  实际环境中我们可能需要监听多个任务队列，有些队列的优先级比较高，需要优先执行，面对这种情况怎么办呢？这种情况下还是使用BRPOP命令来实现。
  BRPOP命令可以同时接受多个键，其语法格式为 BRPOP key [key …] timeout,如 BRPOP queue:1 queue:2 0，表示同时检测多个键，如果所有键都没有元素则阻塞。

1. 如果其中一个键有元素则会从该键中弹出元素。
   A实例中

127.0.0.1:6379> blpop queue:1 queue:2 0

  

 

  
1
 

B实例中

127.0.0.1:6379> LPUSH queue:2 task
(integer) 1

  

 

  
1
  
2
 

则实例A中获取的结果

127.0.0.1:6379> blpop queue:1 queue:2 0
1) "queue:2"
2) "task"
(36.98s)

  

 

  
1
  
2
  
3
  
4
 

2. 如果多个键都有元素则按照从左到右的顺序取第一个键的元素，这条是实现优先级队列的关键
   向queue:1和queue:2中分别添加一个元素

127.0.0.1:6379> lpush queue:1 task1
(integer) 1
127.0.0.1:6379> lpush queue:2 task2
(integer) 1

  

 

  
1
  
2
  
3
  
4
 

然后执行BRPOP命令

127.0.0.1:6379> brpop queue:1 queue:2 0
1) "queue:1"
2) "task1"

  

 

  
1
  
2
  
3
 

  根据BRPOP这个特性我们就可以实现任务队列的优先级了。我们分别使用queue:confirmation.email和queue:notification.email两个键存储发送确认邮件和发送通知邮件两种任务，实现代码如下

while(true){
	String task = brpop("queue:confirmation.email","queue:notification.email",0);
	execute(task);
}

  

 

  
1
  
2
  
3
  
4
 

  这时一旦发送了确认邮件的任务被加入到 queue:confirmation.email队列中，无论 queue:notification.email还有多少任务，消费者都会优先完成发送确认邮件的任务。

~ok 到此为止

文章来源: dpb-bobokaoya-sm.blog.csdn.net，作者：波波烤鸭，版权归原作者所有，如需转载，请联系作者。

原文链接：dpb-bobokaoya-sm.blog.csdn.net/article/details/88618013