FunctionGraph定时任务替掉ECS cron

举报
yd_292017662 发表于 2026/11/15 10:23:48 2026/11/15
【摘要】 我把原来跑在ECS上的清理脚本迁到FunctionGraph,按时触发OBS清单、发送SMN通知并保留执行日志。迁移中处理了时区、依赖包、超时和重复执行问题,单次运行成本也低于长期保留一台ECS。

FunctionGraph定时任务替掉ECS cron

我们的ECS上一直挂着一个每小时执行一次的Python脚本。它从OBS拉取对象清单,筛选超过30天的临时文件,再把结果发到企业微信。机器是2核4GB的通用型ECS,系统盘40GB,空闲时CPU不到3%,但脚本依赖系统里的cron、Python 3.9.9和requests 2.31.0,换镜像后直接报了下面这个错误:

ModuleNotFoundError: No module named 'requests'
  File "/opt/cleanup/cleanup.py", line 6, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

镜像里只有Python 3.8.10,pip版本是20.2.3。我执行python3 -m pip install requests==2.31.0时又遇到externally-managed-environment提示,折腾了一阵才意识到,新镜像不允许直接往系统目录写包。

我最初没有修依赖,而是考虑再加一台ECS。这个方案我一开始是拒绝的,理由很简单:一台每小时醒一次的机器,资源利用率长期低于5%,却要承担实例、系统和公网带宽三部分费用。后来我查了账单,这台ECS包年包月,折算到每天约0.62元,固定公网IP每月0.35元,10Mbps公网带宽每月0.81元。脚本真正执行时只用了112MB内存,900毫秒左右就结束,剩余时间都在空转。

把脚本变成函数

我选了FunctionGraph,运行时使用Python 3.9,创建函数后配置一个24小时周期触发器。开发环境仍然用原来的脚本,部署前先安装依赖并打包:

mkdir -p functiongraph-job/vendor
python3.9 -m pip install requests==2.31.0 -t functiongraph-job/vendor
cp cleanup.py functiongraph-job/vendor/
cd functiongraph-job/vendor
zip -r ../../cleanup.zip .

这里的-t不能省,它会把requests及其依赖装进目标目录,不会污染开发机的全局Python环境。那次执行的pip版本是23.0.1,requests 2.31.0还带入了urllib3 2.0.7、certifi 2023.11.17和charset-normalizer 3.3.2。我用python3.9 -m pip freeze核过一次,输出中的版本与ECS原环境一致。

我第一次只上传了cleanup.py,函数日志里出现:

2025-03-18 02:00:03,741 ERROR cleanup: ModuleNotFoundError: No module named 'requests'
RequestId: 8a2c...d91e
Duration: 38 ms
Memory Usage: 24 MB

原因不是FunctionGraph不能装依赖,而是我把源码目录里的依赖打散后,入口文件放在了zip根目录,运行时找不到vendor下面的requests。重新打zip时我让入口脚本和vendor处于同一层,并检查压缩包结构:

unzip -l cleanup.zip | head -20
  Length      Date    Time    Name
---------  ---------- -----   ----
     1024  03-18 10:21   cleanup.py
      512  03-18 10:21   vendor/requests/__init__.py
     2684  03-18 10:21   vendor/requests/adapters.py
     2157  03-18 10:21   vendor/requests/api.py

这次仍然没有成功。我原以为入口文件放在zip根目录最稳妥,改完后检查发现入口脚本实际在functiongraph-job/vendor/cleanup.py,而FunctionGraph.handler配置写的是cleanup.handler,加载不到它,于是日志变成:

2025-03-18 02:06:41,092 ERROR RuntimeError: Unable to import module 'cleanup'
Traceback (most recent call last):
  File "/var/runtime/bootstrap.py", line 317, in _get_handler
    return handler(bootstrap.FunctionContext(context, init_context))
RuntimeError: Unable to import module 'cleanup'

我没有继续改Python代码,而是回到压缩包根目录重新执行zip -r ../../cleanup.zip .,并用unzip -l cleanup.zip | sed -n '1,8p'确认cleanup.py和vendor目录都在根层。handler保持为cleanup.handler,Python入口代码是:

def handler(event, context):
    # 拉取OBS清单、筛选并发送企业微信
    return {'statusCode': 200}

改完后连续触发了3次,每次都在2秒内结束,日志中的处理结果从17条降到了5条,再降到了0条。这不是性能突然提升,而是定时任务第一次真正跑到了后续流程。我原先把“没有清单”和“脚本没运行”混在一起看了,看到17、5、0还以为筛选逻辑有问题,实际是前两次根本卡在依赖导入阶段。

测试时我还把超时从默认的3秒临时改成10秒,内存从128MB改成256MB,想确认慢查询是不是OBS分页导致的。结果函数只用了0.8秒,峰值内存61MB。测试完成后我把配置改回128MB,保留3000毫秒超时,没有把测试期间放宽的参数带到生产。

时区、权限和运行边界

触发器页面上的时间显示为UTC,我按北京时间填了02:00,结果日志里的实际时间也是02:00,项目却在上午10点收到“没有生成清单”的消息。FunctionGraph定时触发器可以配置时区,我把它改为Asia/Shanghai后,触发时间才与预期一致。

定时器保存前一定把UTC和Asia/Shanghai核对一遍,日志时间也要确认,不能只看控制台上的配置值。

这个问题排查了约40分钟。我先怀疑OBS权限,又检查了函数角色的obs:object:ListObject权限,甚至用curl -I访问了OBS接口,结果全部正常。我在旧日志和触发记录之间按小时比对,才发现两条时间线整整差了8小时。

函数原来使用ECS上的AK,我给FunctionGraph配置了最小权限委托,代码仍然通过OBS SDK读取对象,但不再保存长期密钥。角色需要的动作包括obs:bucket:List、obs:object:ListObject、obs:object:GetObjectMetadata和obs:object:DeleteObject;桶策略也增加了来源限制,只允许该函数的角色执行指定操作。我第一次把角色信任策略里的主体写成了账号ID,控制台直接提示Invalid principal,改成函数服务主体对应的角色ID后才保存成功。

我还在函数环境变量里加入了DRY_RUN参数,先用true跑了两天,确认清单筛选范围没有变化后才打开删除。超时从原来的900毫秒调整到3000毫秒,内存配置为128MB,单次执行实测峰值内存76MB,耗时中位数1.4秒,最慢一次2.3秒。关闭删除前,我故意把对象时间设成31天和29天各一个,前者进入清单,后者没有,筛选结果符合预期。

FunctionGraph不是天然幂等,这一点是我用模拟事件试出来的。连续发送两条内容相同的OBS事件时,第二次日志显示deleted=18。我检查代码后发现,脚本先列举再删除,没有记录已经处理的对象。临时修复是在执行前写入一个以桶名和日期组成的幂等键,存在则直接退出,随后再考虑用OBS清单标记代替。

这个修复也返工过一次。我最初用本地时间生成键,测试容器设置成UTC后,同一天北京时间00:10和23:50会生成两个键。后来我改成20250318这种函数时区内的日期,并把键写到独立的functiongraph-state桶。写入失败时任务返回非0退出码,避免出现锁没落盘却已经删除对象的情况。

费用和现在的运行方式

迁移后FunctionGraph按调用次数和执行时长计费,我查询了2025年3月的账单,日均调用30次,单次平均1.4秒,函数资源月费约1.8元,环境公网出流量不到0.3元。测试阶段因为连续手工触发,日调用量一度达到86次,额外费用只有0.14元左右。

我没有关闭旧ECS,因为还有两个内部服务依赖它。等脚本连续稳定运行14天、删除失败率保持为0后,再缩容旧实例。这个过程比直接迁移多花了几天,主要是为了保留回退路径。

目前FunctionGraph承担两个任务:每天凌晨2点清理OBS临时文件,每小时生成一份对象数量报表。失败会写入CloudLog,告警仍然接现有企业微信群。为了避免告警噪声,只有连续两次失败才通知,成功日志只保留7天。

当前还没解决的是函数失败后的自动补偿。我计划用SMN把失败事件写入一个死信OBS桶,再由第二个函数读取,不过这样会多一层递归调用和权限边界。下个月我会先在测试桶验证,确认不会形成循环,再切生产任务。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。