把健康探测的副作用控制在管理员头上
任何需要真实发请求的监控都有成本。问题只在于这笔成本记在谁头上——记在用户头上,就是一个需要立刻修掉的 bug。
探测消耗上游额度,不消耗用户额度
这是两笔完全不同的账。用户额度是用户的,探测是平台自己的运维开销,混在一起会让所有账单都失去可信度。
正确做法是:探测消耗上游额度,但不计入任何用户额度。
否则用户会来问「我什么都没干,为什么额度少了」。
探测频率是个成本参数
默认 300 秒是权衡结果:更频繁能更快发现降级,但上游成本和自身压力都上去了。允许调整范围(比如 60 秒到 1 小时)比写死一个值更合理。
一个合格的状态看板至少要区分四种状态:operational(正常)、degraded(成功但慢或多渠道部分失败)、failed(全部探测失败)、unknown(数据不足)。
尤其要克制的是:只有探测到的目标、且检测是新鲜的,才配叫「正常」。
部分探测方式可以更便宜
比如先用一次 HEAD 请求确认连通性,失败时就不发昂贵的文本请求。这样既能拿到网络往返耗时,又能在故障时省下大部分成本。
不发送凭据和模型正文
探测请求不应该携带业务凭据或用户正文。这是安全要求,同时也是隐私要求。
当用户说「今天特别慢」的时候,你需要的东西不是一堆日志,而是一张能一眼看出哪个模型在降级的表。
看板的价值不在于好看,而在于能直接驱动动作:哪个模型该降级、哪条线路该扩容、用户的报错能不能归因。
实操:把健康看板的数据接进你自己的监控。
返回里的 ping_ms 和 latency_ms 是两条不同的信号,值得分开监控。
curl -s "https://aiminis.info/api/v1/model-health" | python3 -c "
import json, sys
d = json.load(sys.stdin)['data']
print('探测间隔:', d['interval_seconds'], '秒')
for it in d['items']:
rate = it.get('success_rate')
rate = 'n/a' if rate is None else f'{rate:.1f}%'
print(f\"{it['model']:<24} {it['status']:<12} {it['latency_ms']:>6}ms 成功率 {rate}\")
"
# 关键点:这个接口是公开只读的,不需要 Key,
# 但探测消耗的是上游额度,不会扣到任何用户头上。
几个容易踩的坑
- 把「未知」显示成「正常」,用户信了然后发现调不通。
- 健康探测的请求被记在某个用户 Key 名下,账单凭空多出一截。
- 拿 HEAD 探测的网络往返当成模型响应延迟来判断性能。
- 把上游故障率和本站请求失败率混为一谈,误判故障范围。
小结
把配置项和凭据都外置,是成本最低、收益最持久的一个工程习惯。
对具体能力有疑问,可以直接看接入文档 https://aiminis.info/docs/api-integration,里面把 Base URL、鉴权方式和各协议的可选范围都列清楚了。
- 点赞
- 收藏
- 关注作者
评论(0)