Python requests 重试与超时实战:让网络请求稳一点
写 Python 爬虫或者调第三方接口时,最让人头疼的不是业务逻辑,而是网络本身:对方服务器偶尔 502、机房网络抖动一下、DNS 解析慢半拍,一次原本能成功的请求就抛了异常。如果代码里没有任何重试和超时保护,这种偶发失败会直接变成线上的报错和告警。本文结合一次真实的接口调用排障,讲清楚 requests 的超时与重试应该怎么写。
一、先把超时写死:没有 timeout 的请求就是隐患
requests 默认没有超时,一个卡住的请求可能挂几十分钟甚至更久,把线程池拖满。正确的做法是每次请求都显式传 timeout:
import requests
resp = requests.get("https://example.com/api/data", timeout=10)
timeout=10 表示连接和读取各最多等 10 秒。更精细的写法是用元组区分两个阶段:
resp = requests.get("https://example.com/api/data", timeout=(3, 10))
上面这行表示建立连接最多等 3 秒,连接成功后等响应体最多 10 秒。连接超时短一点可以快速发现网络不通,读取超时则要按接口的正常耗时来定:普通查询接口给 10 秒够用,涉及报表生成的慢接口可以放宽到 30 秒,但一定不要留空。
二、手动重试:先理解指数退避
最直观的重试是循环加 sleep,但两次重试之间最好按指数退避拉开间隔,避免在服务端刚恢复的瞬间又被打满:
import time
import requests
def get_with_retry(url, retries=3):
for attempt in range(retries):
try:
return requests.get(url, timeout=(3, 10))
except requests.exceptions.RequestException as e:
wait = 2 ** attempt
print(f"第 {attempt + 1} 次失败:{e},{wait} 秒后重试")
time.sleep(wait)
raise RuntimeError("多次重试后仍失败")
第一次失败等 1 秒,第二次等 2 秒,第三次等 4 秒。间隔递增有两个好处:一是给服务端恢复留出时间,二是避免所有客户端在同一时刻集体重试形成新的流量尖峰。
三、更省事的办法:Retry + HTTPAdapter
requests 底层用的 urllib3 自带 Retry,可以把重试策略挂到 Session 上,一次配置、处处生效:
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
retry = Retry(
total=3,
backoff_factor=1,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["GET", "HEAD", "OPTIONS"],
)
adapter = HTTPAdapter(max_retries=retry)
session = requests.Session()
session.mount("https://", adapter)
session.mount("http://", adapter)
resp = session.get("https://example.com/api/data", timeout=(3, 10))
这里几个参数值得展开说。total=3 是总重试次数;backoff_factor=1 时退避间隔按 1 秒、2 秒、4 秒递增;status_forcelist 列出遇到哪些状态码才重试,429 表示被限流、5xx 表示服务端故障,这些都有恢复的可能;allowed_methods 只放幂等的读方法,因为写操作重试可能重复下单、重复扣款,这是新手最容易踩的坑。
四、哪些异常值得重试,哪些不值得
不是所有失败都适合重试。连接超时、连接被重置、服务端 5xx、429 限流,这四类通常是暂时的,重试有意义;DNS 解析失败、SSL 证书错误、400 参数错误、401 未授权、404 不存在,重试多少次结果都一样,只会浪费时间。写代码时按异常类型分流:
from requests.exceptions import ConnectTimeout, ConnectionError, ReadTimeout
RETRYABLE = (ConnectTimeout, ConnectionError, ReadTimeout)
try:
resp = session.get(url, timeout=(3, 10))
resp.raise_for_status()
except RETRYABLE:
# 网络层面的临时故障,可以重试
pass
except requests.exceptions.HTTPError as e:
# 拿到明确的错误响应,先看状态码再决定
pass
把 raise_for_status() 放在 try 里面,能让 4xx 和 5xx 统一走异常分支,逻辑更干净。
五、一个能直接用的封装
把会话、超时、重试、日志拼在一起,就是日常项目里可以直接复用的版本:
import logging
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
logger = logging.getLogger(__name__)
def build_session(total=3, backoff=1):
retry = Retry(
total=total,
backoff_factor=backoff,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["GET", "HEAD", "OPTIONS"],
)
session = requests.Session()
session.mount("https://", HTTPAdapter(max_retries=retry))
session.mount("http://", HTTPAdapter(max_retries=retry))
return session
def fetch_json(session, url, timeout=(3, 10)):
try:
resp = session.get(url, timeout=timeout)
resp.raise_for_status()
return resp.json()
except requests.exceptions.RequestException as e:
logger.error("请求 %s 失败:%s", url, e)
raise
调用方只需要传 URL,超时、重试、日志都已经封装好;需要调参时改 build_session 的两个数字即可。
六、排障时先看这三点
如果重试后还是失败,按这个顺序排查:一是确认超时是不是设得太小,内网接口正常耗时 200 毫秒却给了 1 秒超时,抖动一下就误杀;二是看日志里的状态码分布,429 居多说明被限流了,应该降低并发或申请提高配额,而不是一味加大重试次数;三是检查重试有没有把写请求也包进去,POST、PUT、DELETE 默认不重试是有原因的,非要重试必须先保证接口支持幂等键。
小结
网络请求不可靠是常态,靠重试和超时把它变成可控的成本:每次请求都写 timeout,用元组区分连接和读取;读请求交给 Retry 做指数退避,写请求先确认幂等再决定要不要重试;重试次数封顶 3 次左右,失败时记日志而不是默默吞掉。把这套封装放进项目里,大部分偶发网络故障就不会再半夜把你叫醒了。
- 点赞
- 收藏
- 关注作者
评论(0)