Python 脚本跑得慢?先分清是 IO 等待还是 CPU 计算

举报
yd_222029404 发表于 2026/11/06 09:25:35 2026/11/06
【摘要】 同一段脚本,别人跑 3 秒你跑 3 分钟。先用两个工具判断瓶颈类型,再决定是加线程、换异步,还是优化算法。

一、两类瓶颈,解法完全不同

脚本慢只有两种可能:在等(网络、磁盘、数据库)或者在算(循环、序列化、正则)。等的问题加线程或异步就能解决;算的问题加线程基本没用,因为 GIL 决定了同一时刻只有一个线程在执行 Python 字节码。

判断方法很简单:看 CPU 使用率。跑到 100% 是算,长期低于 30% 是等。

二、用 cProfile 找热点函数

python -m cProfile -s cumulative script.py | head -20

cumulative 按累计耗时排序,最上面几个通常就是瓶颈。tottime 则排除子函数调用,用来看「函数自己」花了多久。两者结合能快速区分「这个函数慢」还是「它调用的东西慢」。

三、IO 密集:先试线程池,再考虑异步

网络请求、文件读写这类场景,concurrent.futures.ThreadPoolExecutor 是最省事的方案:

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=8) as pool:
    results = list(pool.map(fetch, urls))

注意并发数不要盲目调大。对方接口有连接数限制时,线程越多越慢,还容易触发限流。8~16 通常够用,具体看对方承受能力。

如果并发数需要上百,再考虑 asyncio + aiohttp。异步的代价是整条调用链都得改,混合同步库会阻塞事件循环。

四、CPU 密集:换进程或换实现

真要并行计算,用 multiprocessing 或 ProcessPoolExecutor,绕开 GIL。但进程启动和序列化有开销,任务太碎时反而更慢——单个任务耗时超过几十毫秒才划算。

另外两个常见收益点:批量操作代替循环单次调用(数据库 executemany、Redis pipeline),以及用内置函数替代手写循环(sum、map、列表推导通常比 for 快)。

小结

优化顺序:先测再改。用 cProfile 定位热点,用人均 CPU 判断瓶颈类型,再选线程、异步还是多进程。没测量就优化,通常只是把代码改复杂了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。