Python requests 重试与超时实战:让网络请求稳一点

举报
yd_240716394 发表于 2026/11/13 12:14:12 2026/11/13
【摘要】 requests 默认没有超时,偶发网络故障会让请求直接失败。本文讲清超时的两种写法、指数退避重试、Retry + HTTPAdapter 挂载 Session 的做法,以及哪些异常值得重试,附可直接复用的封装代码。

写 Python 爬虫或者调第三方接口时,最让人头疼的不是业务逻辑,而是网络本身:对方服务器偶尔 502、机房网络抖动一下、DNS 解析慢半拍,一次原本能成功的请求就抛了异常。如果代码里没有任何重试和超时保护,这种偶发失败会直接变成线上的报错和告警。本文结合一次真实的接口调用排障,讲清楚 requests 的超时与重试应该怎么写。

一、先把超时写死:没有 timeout 的请求就是隐患

requests 默认没有超时,一个卡住的请求可能挂几十分钟甚至更久,把线程池拖满。正确的做法是每次请求都显式传 timeout:

import requests

resp = requests.get("https://example.com/api/data", timeout=10)

timeout=10 表示连接和读取各最多等 10 秒。更精细的写法是用元组区分两个阶段:

resp = requests.get("https://example.com/api/data", timeout=(3, 10))

上面这行表示建立连接最多等 3 秒,连接成功后等响应体最多 10 秒。连接超时短一点可以快速发现网络不通,读取超时则要按接口的正常耗时来定:普通查询接口给 10 秒够用,涉及报表生成的慢接口可以放宽到 30 秒,但一定不要留空。

二、手动重试:先理解指数退避

最直观的重试是循环加 sleep,但两次重试之间最好按指数退避拉开间隔,避免在服务端刚恢复的瞬间又被打满:

import time
import requests

def get_with_retry(url, retries=3):
    for attempt in range(retries):
        try:
            return requests.get(url, timeout=(3, 10))
        except requests.exceptions.RequestException as e:
            wait = 2 ** attempt
            print(f"第 {attempt + 1} 次失败:{e},{wait} 秒后重试")
            time.sleep(wait)
    raise RuntimeError("多次重试后仍失败")

第一次失败等 1 秒,第二次等 2 秒,第三次等 4 秒。间隔递增有两个好处:一是给服务端恢复留出时间,二是避免所有客户端在同一时刻集体重试形成新的流量尖峰。

三、更省事的办法:Retry + HTTPAdapter

requests 底层用的 urllib3 自带 Retry,可以把重试策略挂到 Session 上,一次配置、处处生效:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "HEAD", "OPTIONS"],
)
adapter = HTTPAdapter(max_retries=retry)

session = requests.Session()
session.mount("https://", adapter)
session.mount("http://", adapter)

resp = session.get("https://example.com/api/data", timeout=(3, 10))

这里几个参数值得展开说。total=3 是总重试次数;backoff_factor=1 时退避间隔按 1 秒、2 秒、4 秒递增;status_forcelist 列出遇到哪些状态码才重试,429 表示被限流、5xx 表示服务端故障,这些都有恢复的可能;allowed_methods 只放幂等的读方法,因为写操作重试可能重复下单、重复扣款,这是新手最容易踩的坑。

四、哪些异常值得重试,哪些不值得

不是所有失败都适合重试。连接超时、连接被重置、服务端 5xx、429 限流,这四类通常是暂时的,重试有意义;DNS 解析失败、SSL 证书错误、400 参数错误、401 未授权、404 不存在,重试多少次结果都一样,只会浪费时间。写代码时按异常类型分流:

from requests.exceptions import ConnectTimeout, ConnectionError, ReadTimeout

RETRYABLE = (ConnectTimeout, ConnectionError, ReadTimeout)

try:
    resp = session.get(url, timeout=(3, 10))
    resp.raise_for_status()
except RETRYABLE:
    # 网络层面的临时故障,可以重试
    pass
except requests.exceptions.HTTPError as e:
    # 拿到明确的错误响应,先看状态码再决定
    pass

把 raise_for_status() 放在 try 里面,能让 4xx 和 5xx 统一走异常分支,逻辑更干净。

五、一个能直接用的封装

把会话、超时、重试、日志拼在一起,就是日常项目里可以直接复用的版本:

import logging
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

logger = logging.getLogger(__name__)

def build_session(total=3, backoff=1):
    retry = Retry(
        total=total,
        backoff_factor=backoff,
        status_forcelist=[429, 500, 502, 503, 504],
        allowed_methods=["GET", "HEAD", "OPTIONS"],
    )
    session = requests.Session()
    session.mount("https://", HTTPAdapter(max_retries=retry))
    session.mount("http://", HTTPAdapter(max_retries=retry))
    return session

def fetch_json(session, url, timeout=(3, 10)):
    try:
        resp = session.get(url, timeout=timeout)
        resp.raise_for_status()
        return resp.json()
    except requests.exceptions.RequestException as e:
        logger.error("请求 %s 失败:%s", url, e)
        raise

调用方只需要传 URL,超时、重试、日志都已经封装好;需要调参时改 build_session 的两个数字即可。

六、排障时先看这三点

如果重试后还是失败,按这个顺序排查:一是确认超时是不是设得太小,内网接口正常耗时 200 毫秒却给了 1 秒超时,抖动一下就误杀;二是看日志里的状态码分布,429 居多说明被限流了,应该降低并发或申请提高配额,而不是一味加大重试次数;三是检查重试有没有把写请求也包进去,POST、PUT、DELETE 默认不重试是有原因的,非要重试必须先保证接口支持幂等键。

小结

网络请求不可靠是常态,靠重试和超时把它变成可控的成本:每次请求都写 timeout,用元组区分连接和读取;读请求交给 Retry 做指数退避,写请求先确认幂等再决定要不要重试;重试次数封顶 3 次左右,失败时记日志而不是默默吞掉。把这套封装放进项目里,大部分偶发网络故障就不会再半夜把你叫醒了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。