managers模块可以把多进程分布到多台机器上

依靠网络通信，一个服务进程可以作为调度者，将任务分布到其他多个进程中

代码示例

# -*- coding: utf-8 -*-

# @File : task_master.py
# @Date : 2018-06-11
# @Author  : Peng Shiyu

# 思路：通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Queue了

import time
from queue import Queue
from multiprocessing.managers import BaseManager


# 发送任务的队列
task_queue = Queue()

# 接收结果的队列
result_queue = Queue()

# 从BaseManager继承的QueueManager
class QueueManager(BaseManager): pass

# 把两个Queue都注册到网络上, callable参数关联了Queue对象
QueueManager.register("get_task_queue", callable=lambda: task_queue)
QueueManager.register("get_result_queue", callable=lambda: result_queue)

# 绑定端口5002, 设置验证码'abc'
manager = QueueManager(address=("localhost", 5002), authkey=b"abc")

manager.start()
print("启动服务...")

# 获得通过网络访问的Queue对象，
# 必须通过manager获得的Queue接口添加
task = manager.get_task_queue()
result = manager.get_result_queue()

print("放入队列")
for i in range(10): time.sleep(1) task.put(i)

print("取出结果")
for i in range(10): print(result.get(timeout=10))

# 关闭
manager.shutdown()

"""
启动服务...
放入队列
取出结果
0
1
4
9
16
25
36
49
64
81
"""

  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
  
50
  
51
  
52
  
53
  
54
  
55
  
56
  
57
  
58
  
59
  
60
  
61
  
62
  
63
  
64
  
65
  
66
 

# -*- coding: utf-8 -*-

# @File : task_worker.py
# @Date : 2018-06-11
# @Author  : Peng Shiyu

import time
from multiprocessing.managers import BaseManager


# 创建类似的QueueManager
class QueueManager(BaseManager): pass

# 由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字
QueueManager.register("get_task_queue")
QueueManager.register("get_result_queue")

# 连接到服务器，也就是运行task_master.py的机器
# 端口和验证码注意保持与task_master.py设置的完全一致
manager = QueueManager(address=("localhost", 5002), authkey=b"abc")

# 从网络连接
manager.connect()

# 获取Queue的对象
task = manager.get_task_queue()
result = manager.get_result_queue()

# 从task队列取任务,并把结果写入result队列
for i in range(10): n = task.get(timeout=1) print("获取任务：%s"% n) time.sleep(2) result.put(n*n)

if hasattr(manager, "shutdown"): manager.shutdown()

"""
task_worker-1
获取任务：0
获取任务：2
获取任务：4
获取任务：6
获取任务：8

task_worker-2
获取任务：1
获取任务：3
获取任务：5
获取任务：7
获取任务：9
"""
  

 

  
1
  
2
  
3
  
4
  
5
  
6
  
7
  
8
  
9
  
10
  
11
  
12
  
13
  
14
  
15
  
16
  
17
  
18
  
19
  
20
  
21
  
22
  
23
  
24
  
25
  
26
  
27
  
28
  
29
  
30
  
31
  
32
  
33
  
34
  
35
  
36
  
37
  
38
  
39
  
40
  
41
  
42
  
43
  
44
  
45
  
46
  
47
  
48
  
49
  
50
  
51
  
52
  
53
  
54
 

参考: 廖雪峰Python-分布式进程

文章来源: pengshiyu.blog.csdn.net，作者：彭世瑜，版权归原作者所有，如需转载，请联系作者。

原文链接：pengshiyu.blog.csdn.net/article/details/80655660