Python 异步编程实战:asyncio 从入门到项目落地

举报
yd_262150314 发表于 2026/11/16 01:55:01 2026/11/16
【摘要】 从真实批量数据采集项目出发,讲清asyncio的事件循环、gather并发、信号量限流与超时重试,并点出阻塞调用、共享状态与异常被吞没三个踩坑,附一份可直接照做的落地清单。

在处理高并发 I/O 密集型任务时,Python 的 asyncio 是一把利器:单线程、轻量级协程、没有线程切换的开销。本文结合一个真实的批量数据采集项目,梳理 asyncio 的核心概念、常见写法与落地时的几个坑。

一、为什么需要 asyncio

想象你要同时请求 200 个 HTTP 接口。同步写法是串行的:一个请求 0.5 秒,200 个就是 100 秒。多线程可以并行,但线程有创建开销和 GIL 限制,几百个线程的上下文切换也不便宜。

asyncio 的思路不同:它在单线程内用事件循环调度协程。当一个协程在等待 I/O(比如网络响应)时,事件循环把它挂起,去执行其他就绪的协程;I/O 完成后被唤醒继续执行。等待的时间被充分利用,而切换成本只是一次函数调用级别的开销。

适用场景很明确:I/O 密集型(网络请求、文件读写、数据库查询)用 asyncio 收益大;CPU 密集型(数值计算、图像处理)请用多进程,不要指望协程加速。

二、最小可用写法

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url, timeout=10) as resp:
        return await resp.text()

async def main(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, u) for u in urls]
        return await asyncio.gather(*tasks)

results = asyncio.run(main(urls))

几个关键点:

  1. async def 定义协程函数,调用它只返回协程对象,不会执行;必须用 await 或交给事件循环调度才会真正运行。
  2. asyncio.gather 把多个协程打包并发执行,是批量任务最常用的入口。
  3. asyncio.run 是 3.7+ 推荐的顶层入口,自动创建和关闭事件循环,不要在已有循环里再调它(比如 Jupyter 里)。

三、并发量必须限流

新手最容易犯的错:gather 几千个协程一把梭。对方服务器可能直接把你封掉,本地的文件描述符也可能耗尽。正确姿势是用信号量限流:

sem = asyncio.Semaphore(20)

async def fetch_limited(session, url):
    async with sem:
        return await fetch(session, url)

把并发度控制在 10~50 之间,大多数场景都够用,还能根据目标站点的承受能力动态调整。

四、超时与重试:生产环境必备

网络请求必须有超时,否则一个 hang 住的连接会拖住整个批次。asyncio.wait_for 是最直接的手段:

try:
    data = await asyncio.wait_for(fetch(session, url), timeout=15)
except asyncio.TimeoutError:
    # 记录日志,稍后重试
    ...

重试建议用指数退避(1s、2s、4s……),并设置最大重试次数。注意区分可重试错误(超时、503)和不可重试错误(404、参数错误),后者重试只是浪费资源。

五、三个真实踩坑

坑 1:在协程里调用阻塞函数。 time.sleep(5)、requests.get() 这类同步阻塞调用会卡住整个事件循环,所有协程一起停摆。替代方案:await asyncio.sleep(5);必须调用的同步库用 loop.run_in_executor 扔到线程池。

坑 2:共享可变状态没加锁。 协程切换只发生在 await 点,看似安全,但 counter += 1 这类操作跨越 await 时依然可能交错。需要时用 asyncio.Lock。

坑 3:异常被 gather 吞掉。 默认 gather 遇到第一个异常就抛出,其余协程可能被取消。用 return_exceptions=True 让每个任务的结果独立返回,再逐个检查:

results = await asyncio.gather(*tasks, return_exceptions=True)
for r in results:
    if isinstance(r, Exception):
        log.error("任务失败: %s", r)

六、项目落地清单

  • [ ] 并发度用信号量限制,不裸奔 gather
  • [ ] 每个外部调用都有超时和重试策略
  • [ ] 协程内无阻塞调用,同步库走线程池
  • [ ] 异常分类处理,失败任务可追踪、可重跑
  • [ ] 打点监控:任务耗时、成功率、重试率

asyncio 的学习曲线主要在思维转换:从“顺序执行”切换到“挂起与恢复”。一旦掌握,写高并发 I/O 程序会比多线程清爽得多。建议从一个小批量脚本开始练手,再逐步用到生产项目中。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。