Python asyncio 结构化并发实战:TaskGroup 中的异常传播与任务取消
asyncio 代码最难排查的问题之一,不是如何创建任务,而是任务失败或调用方取消后,其他任务究竟发生了什么。本文基于 Python 3.11+ 标准库,使用可运行的 TaskGroup 示例说明结构化并发的生命周期边界:子任务失败时如何取消兄弟任务,父任务被取消时如何把取消传递给整个任务组,以及为什么不能吞掉 CancelledError。文章同时给出本地验证脚本和不依赖网络的检查方案,不把一次本地运行包装成外部性能结论。
一、为什么要从“任务树”理解 asyncio
直接调用 asyncio.create_task() 很方便,但它只返回一个独立的 Task。创建者需要自己记住:什么时候等待它、如何收集异常、失败时是否取消其他任务、退出函数前是否确保任务已经结束。任务越多,越容易出现“主流程已经返回,后台任务还在运行”或“异常只躺在 Task 对象里没有被读取”的问题。
结构化并发的核心不是某一个 API,而是一个约束:子任务必须属于一个有边界的作用域,作用域退出前要等待子任务结束。Python 3.11 引入的 asyncio.TaskGroup 就是标准库提供的任务作用域。把任务放进 TaskGroup 后,任务组负责等待全部子任务,并在某个子任务出现非取消异常时取消其他仍在运行的兄弟任务。
这会带来更容易推理的任务树:
- 父协程创建任务组,任务组创建子任务;
- 子任务的生命周期不会无声地越过任务组作用域;
- 一个子任务失败时,失败会影响同组任务,而不是只影响一个孤立 Task;
- 任务组退出时,异常以 ExceptionGroup 形式重新抛给调用方,调用方可以用 except* 按类型处理。
结构化并发并不意味着任务不会失败,也不意味着取消可以立即打断任意代码。它首先建立清晰的所有权和传播路径。
二、TaskGroup 的失败语义
下面的演示把三个任务放入同一个任务组:fast-fail 在短暂等待后抛出预设异常,另外两个任务等待更久。任务组观察到第一个非 CancelledError 异常后,会向仍在运行的兄弟任务发送取消请求,然后等待它们完成清理。退出 async with 时,调用方收到的是一个异常组;示例用 except* RuntimeError 取出其中的运行时错误。
这里有三个容易混淆的时间点:异常在失败任务中发生;任务组向兄弟任务发起取消;父协程离开任务组并收到异常。它们不是同一瞬间。兄弟任务只有在下一次可取消的挂起点,或主动检查取消状态时,才会执行自己的取消分支。
如果任务在执行纯 Python 的长时间无挂起计算,取消请求不能像操作系统强制杀进程一样立即中断它。异步代码需要把工作拆成合理的 await 边界,或使用可协作的停止标志。
三、CancelledError 为什么必须继续抛出
任务取消通过 asyncio.CancelledError 表示。它继承自 BaseException,不是普通的 Exception,因此不应写一个宽泛的 except Exception 来假定自己已经处理了取消。
常见的正确模式如下:
try:
await do_io()
except asyncio.CancelledError:
release_resource()
raise
先执行必要的清理,再用 raise 把取消状态交还给上层。普通业务代码不应为了“让日志看起来没有异常”而随意吞掉它。
四、外部取消如何穿过任务组
任务组不仅处理“子任务失败”,也处理“父任务被取消”。当调用方对包含 TaskGroup 的父任务调用 cancel() 时,父任务在等待点收到取消,任务组会把取消传播给它管理的子任务,并等待子任务的取消清理。最终,父任务仍以 CancelledError 结束。
这就是为什么上层服务关闭、请求断开或命令行程序收到停止信号时,应该取消最外层的协程,而不是遍历一份可能已经过期的任务列表。取消拥有明确的根,从根沿任务树向下传播。
五、完整演示和本地验证
文件 articles/structured-concurrency-cancellation-demo.py 只使用 Python 标准库,要求 Python 3.11 或更高版本。它将事件写入内存字典,不访问网络、不写真实配置、不依赖随机数。文件 articles/structured-concurrency-cancellation-validate.py 通过子进程运行演示,并断言以下不变量:
- 失败场景中三个任务都已启动,没有任务完成,两个兄弟任务进入取消分支;
- 失败被报告为 planned failure: fast-fail;
- 外部取消场景中两个子任务都已启动,都进入取消分支,父任务最终收到 CancelledError;
- 演示进程退出码为 0,验证器打印 ALL CHECKS PASSED。
在项目根目录执行:
python --version
python articles/structured-concurrency-cancellation-demo.py
python articles/structured-concurrency-cancellation-validate.py
本文本地验证使用 Python 3.11.9,实际验证输出为:
PASS TaskGroup failure cancels sibling tasks
PASS external parent cancellation reaches all children
ALL CHECKS PASSED
演示运行得到的关键状态是:失败场景中 medium、slow 被取消且没有完成;外部取消场景中 worker-a、worker-b 被取消,父任务的 parent_cancelled 为真。这里没有网络请求、云服务调用或性能压测,不能从这次验证推导吞吐量、延迟或生产容量结论。
六、落地检查清单
在服务或命令行程序中采用 TaskGroup,可以逐项检查:
- 每个创建出来的任务是否有明确的父作用域;
- 任务组退出前,是否等待了所有子任务;
- 是否读取并分类处理了任务异常,而不是只等待完成就认为成功;
- CancelledError 是否在清理后重新抛出;
- 取消路径是否经过了可挂起点,阻塞的同步调用是否另有隔离方案;
- 外层关闭、请求断开和用户中止时,是否取消根任务而不是散落地取消若干子任务;
- 测试是否断言失败后的生命周期约束,而不只断言最终返回值。
结语
结构化并发的价值,是把任务的所有权、失败传播和取消清理放进同一个可观察边界。asyncio.TaskGroup 不能替应用决定业务补偿策略,也不能强制终止不合作的阻塞代码,但它能让“谁负责等待、谁负责取消、异常从哪里出来”变成明确的程序结构。先用固定事件和断言验证这些边界,再把相同的生命周期设计带入真实 I/O,通常比在任务散落后再追查悬空协程更稳妥。
- 点赞
- 收藏
- 关注作者
评论(0)