Python 异步编程实战:asyncio 从入门到项目落地
在处理高并发 I/O 密集型任务时,Python 的 asyncio 是一把利器:单线程、轻量级协程、没有线程切换的开销。本文结合一个真实的批量数据采集项目,梳理 asyncio 的核心概念、常见写法与落地时的几个坑。
一、为什么需要 asyncio
想象你要同时请求 200 个 HTTP 接口。同步写法是串行的:一个请求 0.5 秒,200 个就是 100 秒。多线程可以并行,但线程有创建开销和 GIL 限制,几百个线程的上下文切换也不便宜。
asyncio 的思路不同:它在单线程内用事件循环调度协程。当一个协程在等待 I/O(比如网络响应)时,事件循环把它挂起,去执行其他就绪的协程;I/O 完成后被唤醒继续执行。等待的时间被充分利用,而切换成本只是一次函数调用级别的开销。
适用场景很明确:I/O 密集型(网络请求、文件读写、数据库查询)用 asyncio 收益大;CPU 密集型(数值计算、图像处理)请用多进程,不要指望协程加速。
二、最小可用写法
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url, timeout=10) as resp:
return await resp.text()
async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, u) for u in urls]
return await asyncio.gather(*tasks)
results = asyncio.run(main(urls))
几个关键点:
async def定义协程函数,调用它只返回协程对象,不会执行;必须用await或交给事件循环调度才会真正运行。asyncio.gather把多个协程打包并发执行,是批量任务最常用的入口。asyncio.run是 3.7+ 推荐的顶层入口,自动创建和关闭事件循环,不要在已有循环里再调它(比如 Jupyter 里)。
三、并发量必须限流
新手最容易犯的错:gather 几千个协程一把梭。对方服务器可能直接把你封掉,本地的文件描述符也可能耗尽。正确姿势是用信号量限流:
sem = asyncio.Semaphore(20)
async def fetch_limited(session, url):
async with sem:
return await fetch(session, url)
把并发度控制在 10~50 之间,大多数场景都够用,还能根据目标站点的承受能力动态调整。
四、超时与重试:生产环境必备
网络请求必须有超时,否则一个 hang 住的连接会拖住整个批次。asyncio.wait_for 是最直接的手段:
try:
data = await asyncio.wait_for(fetch(session, url), timeout=15)
except asyncio.TimeoutError:
# 记录日志,稍后重试
...
重试建议用指数退避(1s、2s、4s……),并设置最大重试次数。注意区分可重试错误(超时、503)和不可重试错误(404、参数错误),后者重试只是浪费资源。
五、三个真实踩坑
坑 1:在协程里调用阻塞函数。 time.sleep(5)、requests.get() 这类同步阻塞调用会卡住整个事件循环,所有协程一起停摆。替代方案:await asyncio.sleep(5);必须调用的同步库用 loop.run_in_executor 扔到线程池。
坑 2:共享可变状态没加锁。 协程切换只发生在 await 点,看似安全,但 counter += 1 这类操作跨越 await 时依然可能交错。需要时用 asyncio.Lock。
坑 3:异常被 gather 吞掉。 默认 gather 遇到第一个异常就抛出,其余协程可能被取消。用 return_exceptions=True 让每个任务的结果独立返回,再逐个检查:
results = await asyncio.gather(*tasks, return_exceptions=True)
for r in results:
if isinstance(r, Exception):
log.error("任务失败: %s", r)
六、项目落地清单
- [ ] 并发度用信号量限制,不裸奔 gather
- [ ] 每个外部调用都有超时和重试策略
- [ ] 协程内无阻塞调用,同步库走线程池
- [ ] 异常分类处理,失败任务可追踪、可重跑
- [ ] 打点监控:任务耗时、成功率、重试率
asyncio 的学习曲线主要在思维转换:从“顺序执行”切换到“挂起与恢复”。一旦掌握,写高并发 I/O 程序会比多线程清爽得多。建议从一个小批量脚本开始练手,再逐步用到生产项目中。
- 点赞
- 收藏
- 关注作者
评论(0)