Python 进程池

在Python中，进程池（Process Pool）是一种用于并行处理任务的技术，它允许你同时运行多个进程，从而提高程序的执行效率，特别是在处理CPU密集型任务时。Python的multiprocessing模块提供了对进程池的支持，使得管理和使用进程池变得相对简单。

进程池的基本概念

进程池是一种限制同时运行的进程数量的机制。它创建了一定数量的工作进程，并将任务分配给这些工作进程来执行。当某个工作进程完成任务后，它会从任务队列中取出下一个任务来执行，直到所有任务都完成。

使用multiprocessing.Pool

Python的multiprocessing.Pool类是实现进程池的主要工具。以下是一些常用的方法和属性：

• Pool(processes=None, initializer=None, initargs=(), maxtasksperchild=None, context=None): 创建一个进程池对象。processes参数指定要创建的进程数，如果为None，则默认使用os.cpu_count()返回的数量。
• apply(func, args=(), kwds={}): 同步执行一个函数，并等待结果返回。它类似于func(*args, **kwds)，但函数是在一个单独的进程中执行的。
• apply_async(func, args=(), kwds={}, callback=None, errorcallback=None): 异步执行一个函数。它返回一个AsyncResult对象，你可以使用这个对象来查询函数是否执行完成，以及获取执行结果或异常信息。
• map(func, iterable, chunksize=None): 类似于内置的map()函数，但它将iterable中的项分配给多个进程来并行处理。chunksize参数指定每个进程一次处理的任务数量。
• starmap(func, iterable, chunksize=None): 类似于map()，但iterable中的每个项都是一个元组，func的参数将按元组解包。
• close(): 阻止更多的任务被提交到进程池。在调用join()之前必须先调用close()。
• terminate(): 立即停止进程池中的所有工作进程。注意，这可能会导致正在执行的任务被强制终止。
• join(): 等待进程池中的所有工作进程退出。在调用join()之前，必须先调用close()或terminate()。

示例代码

以下是一个使用multiprocessing.Pool的简单示例：

from multiprocessing import Pool
import os

def worker(num):
    """线程执行的函数"""
    print(f'Worker: {os.getpid()} is processing {num}')
    return num * num

if __name__ == '__main__':
    with Pool(processes=4) as pool:  # 创建一个包含4个进程的进程池
        results = pool.map(worker, range(10))  # 将任务分配给进程池中的进程来执行

    print(results)

在这个示例中，我们创建了一个包含4个进程的进程池，并使用map()方法将worker函数应用于range(10)生成的数字序列。每个worker函数都会在一个单独的进程中执行，并返回结果。最后，我们打印出所有结果。

请注意，在使用Windows操作系统时，由于Python的多进程实现依赖于spawn方法来创建新进程，因此必须将多进程相关的代码放在if __name__ == '__main__':保护块中，以避免无限递归创建进程的情况。而在Unix/Linux系统上，则没有这个限制。