ECS无头浏览器被字体和内存拖垮后

举报
yd_292017662 发表于 2026/11/14 10:25:20 2026/11/14
【摘要】 在一台2核4GB的华为云ECS上运行Playwright截图任务时,Chromium因字体缓存、并发和沙箱配置连续失败。我调整账号、字体目录、并发限制与资源参数后,将单批耗时压到72秒,并记录了实际费用与剩余问题。

任务很小,机器却被拖垮了

我在华为云华北-北京一区放了一套 Playwright 截图服务,负责把商品后台的 120 个页面生成缩略图。测试阶段只有 4 个页面,我直接在一台 c7.large.2 上运行,规格是 2 vCPU、4 GiB 内存,操作系统为 Ubuntu 22.04 LTS,系统盘 40 GiB,数据盘 100 GiB。Node.js 版本是 20.15.1,Playwright 固定在 1.45.0,对应 Chromium 127.0.6533.17。服务通过 systemd 管理,截图结果写入 /var/lib/screenshots,单张 PNG 压缩后大约 180 KB。

最初的脚本按 6 个页面并发执行,运行到第 17 个页面时,systemd 日志里出现了这条记录:

FATAL:zygote_host_impl_linux.cc(117)] Running as root without --no-sandbox is not supported.

容器里的 Ubuntu 默认以 root 启动,而我为了省事,又没有加 --no-sandbox,Chromium 直接退出。这个错误看起来很明确,我却在最初的脚本里给所有异常都包了一层 try/catch,结果单页失败被记成“生成成功但文件为空”,白白排查了 20 多分钟。检查脚本时还发现,screenshot() 没有放在 await 后面,Node.js 偶尔会先创建目标文件,再把异常吞掉,于是 120 个文件里混进了 9 张 0 KB 的 PNG。

我把异常处理改成只记录真实错误,并让每个任务返回 URL、开始时间、结束时间和文件大小。修正后重跑,4 个测试页面全部正常,单页耗时从 7.2 秒降到 4.8 秒,排查过程却花了 31 分钟,主要时间都花在确认空文件是不是磁盘写入问题。

改成普通账号后,又遇到字体问题

我创建了 browser 用户,目录权限设置为 0755,并调整了 Playwright 启动参数:

const browser = await chromium.launch({
  headless: true,
  args: [
    '--disable-dev-shm-usage',
    '--disable-gpu',
    '--no-zygote',
    '--font-render-hinting=none'
  ]
});

单独访问一个页面已经正常,但批量跑时又报了下面的错误:

Fontconfig error: No writable cache directories found

这个 ECS 镜像里没有中文字体,fc-list 的输出只有 DejaVu Sans。浏览器虽然能启动,中文却显示成方框。我最初只执行了 apt-get install fonts-noto-cjk,结果仍然出现方框,因为 fontconfig 需要可写的缓存目录,普通账号没有权限建立缓存。随后补装 fonts-liberation 和 fontconfig,并给普通账号建立字体缓存目录:

sudo apt-get install -y fonts-noto-cjk fonts-liberation fontconfig
sudo install -d -o browser -g browser -m 0755 /var/cache/fontconfig
sudo install -d -o browser -g browser -m 0755 ~/.cache/fontconfig
fc-cache -f -v

那台机器的公网带宽是 5 Mbit/s,软件包下载用了 3 分 48 秒。安装完成后执行 fc-list :lang=zh,能看到 Noto Sans CJK SC,不再生成方框图片。为了确认不是浏览器偶然命中了缓存,我还清掉了 /home/browser/.cache/fontconfig,重启服务后重新截了商品名称页,图片里的中文正常,耗时 5.1 秒。

真正的瓶颈不是 Chromium

我把并发从 6 调到 12,想用吞吐掩盖渲染时间,结果系统在 11 分 26 秒时触发了 OOM:

Out of memory: Killed process 2143 (chrome) total-vm:3178424kB, anon-rss:1964288kB

用 journalctl -k 确认后,发现 4 GiB 内存已经被 Chrome 的多个 renderer 和 Playwright 的浏览器进程吃满。单页平均只需要 4.8 秒,但 12 并发时页面上下文没有及时释放,内存占用会从 1.2 GiB 一路涨到 3.7 GiB。这里我第一次尝试失败得很彻底:我只把并发从 12 改成了 8,没有给每个任务创建独立 context,结果 20 分钟后又出现一次 OOM,失败页面增加到 14 个。

这个方案我一开始是拒绝的,因为限并发会让任务变慢,看起来像用机器性能换稳定性。后来我先做了个 30 分钟的小范围验证,把并发降为 3,并为每个页面单独创建 context,页面结束后主动关闭:

for (const item of items) {
  const context = await browser.newContext({
    viewport: { width: 1440, height: 960 },
    deviceScaleFactor: 1
  });
  const page = await context.newPage();
  await page.goto(item.url, { waitUntil: 'networkidle', timeout: 30000 });
  await page.screenshot({ path: item.output, fullPage: true });
  await context.close();
}

改完以后,120 个页面共耗时 14 分 52 秒,最高峰内存 2.4 GiB,失败数为 0。原来 6 并发跑 17 分钟还没完成,还丢掉了 9 张空图,这个结果已经能接受。那次失败让我重新检查了资源曲线,发现 renderer 在 context 关闭后仍可能保留约 120 MiB,重复 30 次后就把可用内存压到了 800 MiB 以下。

把系统参数也固定下来

这台 ECS 的 /etc/systemd/system.conf 中,DefaultLimitNOFILE 原来只有 1024。Chromium 同时打开图片、字体和页面时,文件句柄会频繁接近上限。我把它调整为 65536,并给服务单独加了 Slice:

[Slice]
MemoryMax=3G
TasksMax=512
CPUQuota=180%

改完后执行 systemctl daemon-reload,再用 systemctl show screenshot.service -p MemoryMax -p TasksMax -p CPUQuotaPerSecUSec 核对,确认内存上限是 3435973836 bytes,任务上限是 512,CPU 配额为 180%。服务通过 systemd 的 MemoryMax=3G 留出 1 GiB 给系统和日志,即便某个页面异常,也不会再把整台机器推入 OOM。截图服务重启需要 6 秒,这是当前方案里可以接受的一次中断窗口。

费用没有控制住

这台 ECS 按当时华北-北京一区的按需价格估算,实例约 0.742 元/小时,系统盘 0.8 元/天,公网流量约 0.08 元/GB。任务全部跑完共计 1 小时 36 分,实例费用约 1.19 元,公网流量 4.3 GB,费用约 0.34 元。

不过机器全天运行的成本和任务时长无关。按每天只运行 2 小时计算,月度实例费用仍接近 534.24 元。我后来把任务迁到一台 4 核 8 GiB 的 c7.xlarge.2 上,并把并发设为 6,整批耗时缩到 7 分 21 秒,同样的页面暂时没有出现字体缺失和空图。迁移时没有直接复制旧实例的缓存,而是重新安装 Playwright 1.45.0 的浏览器依赖,避免 Node ABI 和系统库版本不一致。

还没解决的部分

目前 Chromium 偶尔仍会把 renderer 内存推到 900 MiB 左右,动态页面超过 45 秒时也可能触发 30 秒导航超时。我还没有处理 WebSocket 长连接和页面定时器导致 networkidle 迟迟不返回的问题,下一步会在测试环境记录 page.metrics() 和 performance.memory,再决定是否按页面类型设置不同的等待条件。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。