定时任务自动化:用华为云 FunctionGraph 替代 Cron 脚本做报表清洗
【摘要】 摘要:公司内部有 17 个定时报表任务,全部跑在一台 ECS 的 crontab 里。凌晨 3 点集中触发时 CPU 打满、失败无重试、日志散落、扩缩容靠人工改配置,任何一个人误改脚本都可能拖垮整批任务。本文以“电商日报清洗 + 多渠道推送”为场景,用华为云函数工作流 FunctionGraph 重构定时任务体系,实现按事件弹性触发、失败自动重试、执行链路可追溯、成本按调用计费,给出从 cr...
摘要:公司内部有 17 个定时报表任务,全部跑在一台 ECS 的 crontab 里。凌晨 3 点集中触发时 CPU 打满、失败无重试、日志散落、扩缩容靠人工改配置,任何一个人误改脚本都可能拖垮整批任务。本文以“电商日报清洗 + 多渠道推送”为场景,用华为云函数工作流 FunctionGraph 重构定时任务体系,实现按事件弹性触发、失败自动重试、执行链路可追溯、成本按调用计费,给出从 crontab 迁移到 Serverless 定时任务的完整落地路径。
一、背景与痛点
原架构是一台 8U16G 的 ECS,crontab 里挂着 17 条任务:
# /etc/crontab 片段
0 3 * * * root /opt/scripts/daily_report.sh >> /var/log/report.log 2>&1
10 3 * * * root /opt/scripts/clean_user_behavior.py >> /var/log/clean.log 2>&1
30 3 * * * root /opt/scripts/sync_inventory.sh >> /var/log/inv.log 2>&1
...
运行两年后暴露的问题:
|
痛点
|
具体表现
|
|---|---|
|
单点故障
|
ECS 宕机,全部定时任务停摆,没人知道直到业务方早上催
|
|
峰值争抢
|
17 个任务集中在 3:00-4:00,CPU 100%,慢任务被拖超时
|
|
失败无感
|
脚本 exit 非 0 只写日志,没有告警,第二天才发现数据没出
|
|
重试靠手写
|
每个脚本自己实现重试逻辑,写法五花八门,有的根本没重试
|
|
日志分散
|
17 个 log 文件,grep 跨文件排查,出问题定位半小时起步
|
|
扩容困难
|
双 11 报表量翻 5 倍,只能临时加一台 ECS 分流,事后闲置
|
|
成本浪费
|
ECS 24 小时运行,实际每天只用 2 小时,其余时间在跑系统
|
核心诉求:事件触发、弹性并发、失败重试、链路可观测、按量计费。
二、方案设计
2.1 为什么选 FunctionGraph 而不是继续用 ECS + 消息队列
|
方案
|
运维
|
弹性
|
成本
|
重试
|
适用场景
|
|---|---|---|---|---|---|
|
ECS crontab
|
高
|
无
|
24h 计费
|
手写
|
任务少、低频
|
|
ECS + Celery + Redis
|
中
|
手动扩 worker
|
常驻
|
框架自带
|
中大型后台任务
|
|
容器 CCE + CronJob
|
中
|
K8s 扩缩
|
集群常驻
|
有
|
已有 K8s 体系
|
|
FunctionGraph 定时器
|
零
|
自动并发
|
按调用计费
|
平台级
|
定时批处理、事件驱动
|
任务特点是“短时、周期、IO 密集(查库+调 API+发消息)”,天然适合 Serverless。
2.2 整体架构
云监控 Timer(Cron 表达式)
│
▼
FunctionGraph 函数(每个报表一个函数)
│
├── 查 RDS / DWS(数据库连接走 VPC 适配器)
├── 数据清洗(Python pandas / 纯 SQL)
├── 生成报表文件 → 上传 OBS
├── 推送企微/邮件/短信(走 SMN 主题)
│
▼
LTS 日志服务(结构化日志,跨函数聚合查询)
│
▼
云监控告警(失败率 > 0 或 超时 → 企微机器人)
2.3 关键设计决策
- 一任务一函数:不搞“大函数内部 if-else 分支”,独立部署、独立超时、独立重试
- 触发器用 FunctionGraph 内置 Timer:不额外接云监控 Timer,减少组件
- 共享逻辑抽成层:数据库连接、OBS 客户端、SMN 推送封装成公共模块,打包进每个函数镜像
- 状态外置:函数无状态,中间结果写 OBS 或 Redis,避免冷启动丢上下文
- 并发上限设防:单函数最大并发限 50,防止上游数据异常把下游 DB 打挂
三、实操步骤
3.1 创建函数与依赖打包
以“每日订单报表清洗”为例,Python 3.9 运行时。
目录结构:
daily_report/
├── index.py # 入口 handler
├── requirements.txt
└── common/
├── db.py # RDS 连接
├── obs_client.py # OBS 上传
└── notifier.py # SMN 推送
requirements.txt:
pymysql==1.1.0
pandas==2.0.3
obs-python-sdk==3.23.3
huaweicloud-sdk-smn==3.1.0
打包(注意 Linux 环境下装依赖,避免 macOS 编译的 so 不兼容):
cd daily_report
pip install -r requirements.txt -t ./deps
cp -r common ./deps/
zip -r daily_report.zip index.py deps/
3.2 函数入口代码
# index.py
import json
import os
import logging
from datetime import datetime, timedelta
from common.db import query_orders
from common.obs_client import upload_csv
from common.notifier import notify
logger = logging.getLogger()
logger.setLevel(logging.INFO)
def handler(event, context):
"""
FunctionGraph 入口
event: 定时器传入的 JSON,含 trigger_time、task_id
context: 运行时上下文,含 request_id 用于链路追踪
"""
request_id = context.request_id
trigger_time = event.get("trigger_time", datetime.now().isoformat())
logger.info(json.dumps({
"request_id": request_id,
"task": "daily_report",
"trigger_time": trigger_time,
"stage": "start"
}))
try:
# 1. 计算统计区间(昨天 00:00 - 23:59)
today = datetime.strptime(trigger_time[:10], "%Y-%m-%d")
start = today - timedelta(days=1)
end = today - timedelta(seconds=1)
# 2. 查库
rows = query_orders(start, end)
logger.info(f"query rows={len(rows)}")
# 3. 清洗聚合(示例:按渠道汇总 GMV)
import pandas as pd
df = pd.DataFrame(rows)
summary = df.groupby("channel").agg(
order_count=("order_id", "count"),
gmv=("amount", "sum")
).reset_index()
# 4. 生成 CSV 上传 OBS
date_str = start.strftime("%Y%m%d")
csv_key = f"reports/daily/{date_str}/channel_gmv.csv"
upload_csv(summary, csv_key)
# 5. 推送通知
notify(
title=f"日报就绪 {date_str}",
content=f"订单 {len(df)} 笔,GMV {df['amount'].sum():.2f} 元,文件:{csv_key}",
topic=os.environ["SMN_TOPIC"]
)
logger.info(json.dumps({
"request_id": request_id,
"stage": "done",
"rows": len(rows),
"file": csv_key
}))
return {"status": "ok", "rows": len(rows), "file": csv_key}
except Exception as e:
logger.error(json.dumps({
"request_id": request_id,
"stage": "error",
"msg": str(e)
}))
# 抛异常 → FunctionGraph 按重试策略自动重跑
raise
公共模块 db.py(连接池复用,避免每次冷启动重建):
# common/db.py
import pymysql
import os
from pymysql.pool import Pool # 简易池,或用 huaweicloud 封装
_pool = None
def _get_pool():
global _pool
if _pool is None:
_pool = Pool(
host=os.environ["RDS_HOST"],
port=int(os.environ.get("RDS_PORT", 3306)),
user=os.environ["RDS_USER"],
password=os.environ["RDS_PASSWORD"],
database=os.environ["RDS_DB"],
charset="utf8mb4",
minsize=1,
maxsize=5
)
return _pool
def query_orders(start, end):
conn = _get_pool().connection()
try:
with conn.cursor(pymysql.cursors.DictCursor) as cur:
cur.execute(
"SELECT order_id, channel, amount, created_at "
"FROM orders WHERE created_at >= %s AND created_at < %s "
"AND status='paid'",
(start, end)
)
return cur.fetchall()
finally:
conn.close()
3.3 控制台配置
- FunctionGraph 控制台 → 创建函数 → 从头创建
- 名称:
daily-report-cleaner - 运行时:Python 3.9
- 上传方式:ZIP 包(
daily_report.zip) - 入口:
index.handler - 内存:512MB
- 超时:300 秒(报表类给足,别用默认 3 秒)
- 最大并发:50
- 名称:
- VPC 配置(访问 RDS 必须)
- 选与 RDS 同 VPC、同子网
- 安全组放通 3309 出站到 RDS
- 环境变量
RDS_HOST=rm-xxxx.rds.myhuaweicloud.com RDS_USER=report_ro RDS_PASSWORD=******(走 KMS 加密或凭据服务,别明文) RDS_DB=shop SMN_TOPIC=urn:smn:cn-north-4:xxx:daily-report OBS_BUCKET=company-reports - 定时器触发器
- 类型:定时触发
- Cron:
0 0 3 * * ? *(每天凌晨 3 点,FunctionGraph 用 6/7 位 Cron) - 时区:Asia/Shanghai(必须显式设,否则按 UTC 跑,报表日期差 8 小时)
- 附加 event:
{"task_id": "daily_report_v2"}
- 重试策略
- 失败重试次数:3
- 重试间隔:指数退避(平台默认)
- 死信队列:配 SMN 主题,3 次全失败进人工告警
3.4 日志与告警接入
函数内所有
logger.info 自动进 LTS:- 创建日志组
lg-functiongraph-report - 日志流自动关联函数
- LTS 结构化查询示例:
-- 查最近 1 小时所有失败
stage:"error" AND task:"daily_report"
| select request_id, msg order by __time__ desc
-- 查某次执行的完整链路
request_id:"xxxx-xxxx"
| select stage, __time__ order by __time__ asc
云监控告警规则:
指标:函数错误率(daily-report-cleaner)
条件:5 分钟内错误数 > 0
动作:发 SMN → 企微机器人 @值班人
3.5 冷启动优化
Python + pandas 冷启动约 800ms-1.2s,对定时报表可接受,但仍做了两件事:
- 开启预留实例:核心报表函数预留 2 个实例常驻,消除冷启动
- 依赖瘦身:pandas 换成纯 SQL 聚合 + csv 模块写文件,包从 48MB 降到 6MB,冷启动降到 300ms
避坑:FunctionGraph 包体上限 500MB(解压后 1.5GB),pandas+numpy 很容易踩线,能 SQL 解决就别引 DataFrame。
四、迁移策略:17 个 crontab 怎么平滑搬
不要一次性全切,按风险分批:
|
批次
|
任务类型
|
迁移方式
|
观察期
|
|---|---|---|---|
|
第 1 批
|
内部运营报表(非对外)
|
直接切,ECS 脚本保留但不触发
|
3 天
|
|
第 2 批
|
数据清洗、同步类
|
双跑(ECS + FG 各写各的 OBS 前缀),比对结果
|
7 天
|
|
第 3 批
|
对外商户日报、财务对账
|
双跑 14 天,逐一对齐后再切读
|
14 天
|
|
第 4 批
|
下掉 ECS crontab
|
注释全部条目,ECS 降级为跳板机
|
—
|
双跑比对脚本(放 FunctionGraph 里每天跑一次):
def compare_dual_run(date_str):
a = read_obs(f"reports/legacy/{date_str}/channel_gmv.csv")
b = read_obs(f"reports/daily/{date_str}/channel_gmv.csv")
diff = a.compare(b) # pandas 或纯 dict 比对
if not diff.empty:
notify(title=f"双跑差异 {date_str}", content=diff.to_string())
五、验证结果
|
验证项
|
迁移前(ECS crontab)
|
迁移后(FunctionGraph)
|
|---|---|---|
|
单任务平均耗时
|
420s(受同机争抢)
|
96s(独占并发)
|
|
失败可感知
|
次日人工发现
|
告警 30 秒内到企微
|
|
失败重试
|
手写 1 次且常失效
|
平台级 3 次指数退避
|
|
峰值并发
|
串行排队
|
17 函数并行,互不干扰
|
|
日志排查
|
grep 17 个文件
|
LTS 按 request_id 一键拉全链路
|
|
月度计算成本
|
ECS 8U16G ≈ ¥620
|
FG 按 GB-s + 调用次数 ≈ ¥38
|
|
扩容响应
|
加机器 30 分钟
|
并发上限改配置,秒级
|
双跑 14 天,17 个任务输出文件 MD5 全部一致,第 15 天正式下掉 ECS crontab。
六、生产避坑清单
❌ 常见错误
- Cron 不设时区:默认 UTC,凌晨 3 点的报表跑成上午 11 点
- 超时用默认 3 秒:报表查库动辄几十秒,全部超时重试雪崩
- 密码明文写环境变量:控制台一眼能看到,走 KMS 或凭据服务
- 函数内开全局连接池不判空:冷启动复用导致连接失效,加
ping(reconnect=True) - 不带 request_id 打日志:出事无法串链路,每条日志都带上下文
- 重试策略配成“无限重试”:上游数据脏一直失败,把 RDS 连接池打满
- 并发上限不设:某天订单量暴涨,50 个实例同时查库,RDS CPU 100%
- 一次性切全部任务:没双跑比对,财务口径差一分钱都查不清
- OBS 上传不设存储类:热存贵,报表归档应转低频/归档
- 忽略冷启动对 SLA 的影响:对外实时接口别用 FG,定时批处理才合适
✅ 正确姿势
- Cron 显式带时区
Asia/Shanghai - 超时 = 历史 P99 耗时 × 3,留退避空间
- 敏感配置走 KMS 解密或 凭据管理服务,函数启动时拉取
- 全局连接加健康检查,失效重建
- 结构化日志(JSON)进 LTS,字段固定:
request_id / task / stage / rows - 重试 3 次 + 死信队列,绝不无限重试
- 并发上限按 RDS 最大连接数 ÷ 单函数连接数 反推
- 双跑比对 MD5 一致再切读流量
- OBS 报表目录开生命周期:30 天后转低频,90 天后归档
- 核心函数开预留实例,非核心用按需
七、成本结构梳理
|
计费项
|
说明
|
优化方向
|
|---|---|---|
|
GB-s(内存×时长)
|
512MB × 96s × 17 任务 × 30 天
|
内存调到刚好不 OOM,别默认 1GB
|
|
调用次数
|
17 × 30 = 510 次/月
|
几乎可忽略
|
|
预留实例
|
按预留时长计费
|
只给 SLA 高的 3 个函数开
|
|
VPC 出网流量
|
查 RDS 走内网免费
|
保持同 Region 同 VPC
|
|
OBS 存储
|
报表归档
|
生命周期转低频/归档
|
|
LTS 日志
|
按 GB 存储+查询
|
日志保留 30 天,冷数据转 OBS
|
对比 ECS:计算成本降 90%+,但要把“运维心智”算进去——17 个函数比 1 台 ECS 多了一层控制台管理,用服务编排(DataArts 或 FunctionGraph 工作流)串起来会更清爽。
八、总结与扩展
从 crontab 到 Serverless 定时任务,本质是把“常驻机器 + 手写容错”换成“事件触发 + 平台容错”:
- 弹性:17 个任务并行不争抢,峰值自动扩
- 可靠:平台级重试 + 死信队列,失败必告警
- 可观测:request_id 串全链路,LTS 一条语句查完
- 省钱:按 GB-s 计费,闲时零成本
后续演进方向:
- 工作流编排:用 FunctionGraph 工作流(或 DataArts Factory)把“查数→清洗→生成→推送→归档”串成 DAG,失败节点可视化重跑
- 参数化触发:定时器 event 带
date_range、channel_filter,同一函数服务多个报表变体 - 冷热分层:核心报表预留实例,边缘报表按需 + 冷启动容忍
- 数据质量门禁:清洗后自动跑校验规则(行数波动 > 30% 阻断推送),脏数据不出门
- 多云函数兜底:核心对账任务双云部署,单云故障时切换触发器
- 成本看板:把 GB-s、OBS、LTS 费用按任务维度打标签,月度出成本报表(用本方案自己给自己算账)
本文为原创定时任务 Serverless 化实践,基于华为云函数工作流 FunctionGraph 整理,操作步骤以当前控制台页面为准。文中成本与耗时为特定业务量下的实测参考,实际表现随数据规模与网络环境浮动。转载请注明出处。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)