Python 脚本跑得慢?先分清是 IO 等待还是 CPU 计算
一、两类瓶颈,解法完全不同
脚本慢只有两种可能:在等(网络、磁盘、数据库)或者在算(循环、序列化、正则)。等的问题加线程或异步就能解决;算的问题加线程基本没用,因为 GIL 决定了同一时刻只有一个线程在执行 Python 字节码。
判断方法很简单:看 CPU 使用率。跑到 100% 是算,长期低于 30% 是等。
二、用 cProfile 找热点函数
python -m cProfile -s cumulative script.py | head -20
cumulative 按累计耗时排序,最上面几个通常就是瓶颈。tottime 则排除子函数调用,用来看「函数自己」花了多久。两者结合能快速区分「这个函数慢」还是「它调用的东西慢」。
三、IO 密集:先试线程池,再考虑异步
网络请求、文件读写这类场景,concurrent.futures.ThreadPoolExecutor 是最省事的方案:
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(max_workers=8) as pool:
results = list(pool.map(fetch, urls))
注意并发数不要盲目调大。对方接口有连接数限制时,线程越多越慢,还容易触发限流。8~16 通常够用,具体看对方承受能力。
如果并发数需要上百,再考虑 asyncio + aiohttp。异步的代价是整条调用链都得改,混合同步库会阻塞事件循环。
四、CPU 密集:换进程或换实现
真要并行计算,用 multiprocessing 或 ProcessPoolExecutor,绕开 GIL。但进程启动和序列化有开销,任务太碎时反而更慢——单个任务耗时超过几十毫秒才划算。
另外两个常见收益点:批量操作代替循环单次调用(数据库 executemany、Redis pipeline),以及用内置函数替代手写循环(sum、map、列表推导通常比 for 快)。
小结
优化顺序:先测再改。用 cProfile 定位热点,用人均 CPU 判断瓶颈类型,再选线程、异步还是多进程。没测量就优化,通常只是把代码改复杂了。
- 点赞
- 收藏
- 关注作者
评论(0)