python之future对象-利用自定义函数、遍历来实现搜索~

我们都知道future对象来实现的是并发操作，future根据我们的需求的并发类型（I/O密集型，或是cpu密集型）打包了multiprocessing和threading。它们并不能完全解决以外修改共享的问题，但却帮助我们更容易地追踪这一问题。Future为不同进程或进程间提供了明确的边界。和多进程池类似 他们用于调用并回答 类型的交互 其中处理过程可以在另外一个进程中，并且在未来的某个节点（毕竟就是这样命名的），你可以询问结果向他。Future实际上就是对进程池和线程池的封装，不过它提供了更加清楚的API。Future对象基本上封装了一个函数调用。函数调用进行在线程或进程的后台。Future对象的方法检查future是否结束，并在结束后获取结果。

例子：

From concurrent.futures import threadpoolexecutor

From pathlib import path

From os.path import sep as pathsep

From collections import deque

Def find _files(path,query_string):

Subdirs=[]

For p in path.iterdir():

   Full_path = str(p.absolute())

   If p.is_dir() and not p.is_symlink():

      Subdirs.append(p)

   If query_string in full_path:

     Print(full_path)

   Return subdirs

Query = ‘.py’

Futures = deque()

Basedir = path(pathsep).absolute()

With threadpoolexecutor(max_workers=10) as executor:

Futures.append(

Executor.submit(find_files,basedir,query))

While futures:

Futures=futures.popleft()

If futures.exeception():

Continue

Elif futere,done():

Subdirs=future.result()

For subdir in subdirs:

   Futures.append(executor.submit(

                Find_files,subdir,query))

Else:

   Futures.append(future)

这段代码是由find_files的函数组成  运行在另外一个线程中 这个函数没有其他的特殊地方但是要注意他访问全局变量的过程，我们在开始之前先定义几个变量，在这个例子中我们会搜索所有带.py字符的文件我们有一个队列的future对象 稍后进行讨论  basedir变量指向文件系统的根目录 unnix系统中的是’/’windows系统中的是C:\.

我们简单回顾下搜索的理论是什么，这一算是通过广度优先搜索遍历来实现的 而不是用深度优先搜索遍历实现的访问所有的路径 这一算法将所有当前目录的子目录添加到队列中 然后是所有这些目录的子目录来类推

这段程序的主体是一个事件的循环 我们可以将 threadpoolexecutor构建为一个上下文管理器，这样一来在结束时就可以进行自动清理关闭所有的进程，需要一个max_workers参数来表明同时允许执行多个线程 如果提交了超过这一数量的任务将会排队等待 直到有能用的线程出现为止。在使用processpoolexecutor时 这一限制通常为机器的cpu数量 但对于线程 这一数值可以高很高 这依赖于同时等待i/o的数量。每个线程都需要占据一定的内存因此数量也不需要很多，数量太多的话磁盘速度而不是并发请求数量将会成为瓶颈