实战SOP:CodeArts在VSP搭探针,触发FunctionGraph
背景:不是所有活都该常驻,也不是所有活都该上云
前段时间把几件零碎任务搬上了 FunctionGraph:处理收到的文件、定时汇总数据、某类告警的通知。函数的好处是"用完即走",按调用付费,平时不占资源。但用久了也撞到一个别扭的地方:函数的触发器要么是定时,要么是别人来调。而我的需求卡在中间:
- 每天盯着某个接口的返回,一旦出现特定状态,才需要干活;
- 盯一个本地目录,有新文件进来才处理;
- 盯一条日志,看到关键字才响应。
这些"盯"的动作,放云函数里不合适:函数最长执行时间有限,常驻盯梢的成本也不划算;放本地全做,又回到"一台机器 24 小时开着跑脚本"的老路。
折中方案很自然:在云主机(VPS)上跑一个极轻的探针——它只干三件事:检查条件、判断是否该动、调用函数。真正干活的逻辑留在 FunctionGraph 里,探针发现"有事"才唤醒它。这篇记录这套联动是怎么搭起来的,以及探针本身怎么设计才不添乱。
方案:探针是哨兵,函数是车间
| 层 | 职责 | 不该做的事 |
|---|---|---|
| VSP 探针 | 定时检查、条件判断、触发函数、记状态 | 不做业务处理、不存大文件 |
| FunctionGraph | 收到指令后干活,处理完退出 | 不常驻、不做轮询 |
| 状态存储 | 冷却窗口、上次处理结果 | 不能放内存(进程会重启) |
1. 先把函数立起来。 一个最小函数就够了:入参是事件 JSON,出参是处理结果。触发器用函数自带的 HTTPS 地址(函数侧一般会提供函数 URL 或 API 触发器),调用时带一个共享密钥做简单鉴权——探针和函数之间不需要复杂协议,一次 POST 就够。
2. 探针的判断规则要写死。 三个要素:检查什么、多久查一次、什么条件算"该触发了"。比如"目录新增文件"就是:列目录、比对上次快照、有差集才触发。规则越简单越好,因为探针一旦复杂,它自己就变成需要被运维的对象。
3. 探针主循环(关键在冷却与退避):
import json, time, hashlib, requests
STATE = "/var/lib/probe/state.json" # 状态落盘,进程重启不丢
COOLDOWN = 300 # 冷却窗口(秒)
def load():
try:
return json.load(open(STATE))
except FileNotFoundError:
return {"seen": [], "last_fire": 0}
def check():
files = sorted(f for f in os.listdir(WATCH_DIR))
return [f for f in files if f not in state["seen"]]
def fire(payload):
if time.time() - state["last_fire"] < COOLDOWN:
return "cooling"
r = requests.post(FUNC_URL,
headers={"X-Probe-Key": SHARED_KEY},
json=payload, timeout=15)
r.raise_for_status()
state["last_fire"] = time.time()
return "fired"
while True:
state = load()
todo = check()
if todo:
fire({"files": todo})
state["seen"] += todo # 先记状态,再进入冷却
json.dump(state, open(STATE, "w"))
time.sleep(60)
这段代码里有三个设计点值得单独说:状态落盘(重启不重复触发)、冷却窗口(防止一次抖动打出一串调用)、先记状态再等冷却(宁可少触发,不可重复触发)。
4. 部署到 VSP。 探针进程几十兆内存,一台最低配的云主机绰绰有余。用 systemd 守护,Restart=always,日志按天切;再加一条内存上限,防止探针自己出问题把机器拖垮。
5. 联动验证。 看三个时间点:探针发现变化的时间、函数开始执行的时间、结果写回的时间。三者串起来,才证明"哨兵发现、车间开工"这条链是通的。
实践要点
- 探针只做"判断 + 触发",不要让它顺手把活干了。 探针里一旦开始写业务逻辑,它就会需要依赖、需要升级、需要调试——一个本该 50 行代码的哨兵,会长成一个毛坯版业务系统。
- 冷却窗口是必须的。 没有冷却,一次网卡抖动、一次目录重命名的批量操作,可能触发几十次函数调用。冷却值按业务节奏定:分钟级任务给 5 分钟,天级任务给 1 小时。
- 状态一定要落盘,而且要"先记后发"。 探针进程会重启,内存状态会丢;先调用后记状态的重启窗口里,会出现重复触发。顺序换成"先记状态、再触发",重复的概率降一个量级。
- 探针自己也要被监控。 它会静默退出、会卡在某个请求上——所以要有第二条极简的健康检查(比如定时检查日志更新时间),否则"探针挂了"这件事没人知道。哨兵也要有哨兵。
- 凭证最小化,只给函数调用权限。 探针里放一个共享密钥或临时凭证,只够调用这一个函数。别把主账号的密钥省事地塞进去——探针跑在公网机器上,它就是最外层的暴露面。
- 函数侧要幂等。 探针的冷却只是降低重复概率,不是保证。函数收到同一个事件要能正确处理第二遍,比如按事件 ID 去重,或让处理后写入带唯一约束。
- 算一笔成本账。 探针跑满一个月,一台最低配云主机的账单是固定的;函数按调用和时长计费,探针少调几次就省几次。这套结构的经济性在于"探针常驻很便宜、函数调用很稀疏"——如果函数调用密集到分钟级不停,不如整条链都放主机上。
小结
这套"探针 + 函数"的组合解决的是一个很具体的矛盾:需要 7×24 小时的"盯",但不需要 7×24 小时的"算"。探针负责盯,成本极低;函数负责算,用完即走。把职责切在"判断"和"执行"之间,两边都简单。
搭完之后我最大的体会是:自动化的复杂度和可靠性成反比。探针越简单,整条链越可靠;规则越克制,误触发越少。把"聪明"留给函数,把"老实"留给探针,这套组合才算真正稳。
- 点赞
- 收藏
- 关注作者
评论(0)