用「常驻浏览器 + CDP」把网页端自动化做稳:三周踩坑复盘

举报
年年真快乐 发表于 2026/11/11 10:16:13 2026/11/11
【摘要】 用「常驻浏览器 + CDP」把网页端自动化做稳:三周踩坑复盘起因:接口能做的事,只有一半我们做校园自习空间调度系统时,顺手把一批日常运维动作自动化了:签到、埋点上报、写文章、点收藏。第一版很天真——抓接口、带 Cookie、requests 直接发。结果三类动作立刻卡住:• 纯接口类(签到、埋点):一帆风顺;• 需要编辑器交互类(发布文章、点 Star):没有开放接口,页面里是 CodeMi...

用「常驻浏览器 + CDP」把网页端自动化做稳:三周踩坑复盘

起因:接口能做的事,只有一半

我们做校园自习空间调度系统时,顺手把一批日常运维动作自动化了:签到、埋点上报、写文章、点收藏。

第一版很天真——抓接口、带 Cookie、requests 直接发。结果三类动作立刻卡住:

• 纯接口类(签到、埋点):一帆风顺;

• 需要编辑器交互类(发布文章、点 Star):没有开放接口,页面里是 CodeMirror、自定义按钮;

• 鉴权边界类(华为云门户):Cookie 是会话级的,浏览器一关就失效,而且把 Cookie 注入无头浏览器会被 WAF 判为非浏览器会话。

所以最后落地的架构不是"纯接口",而是接口 + 常驻浏览器双通道。

架构:一个浏览器常驻,其他脚本连上来


browser_daemon.py            常驻 Chromium(--remote-debugging-port=9222)
      ├── 用户扫码登录一次
      ├── 每 5 分钟用 islogin 接口自检登录态
      └── 页面默认停在「任务中心」,被其它脚本带走会自动拉回
                    ▲
                    │ CDP (connect_over_cdp)
      ┌─────────────┴──────────────┬───────────────────┐
  sync_cookie.py            publish_*.py         任务脚本(Star/浏览/报名)
  (导出 Cookie 给 requests) (在真实登录态里点按钮)

关键点:浏览器只启动一次、登录一次,后续所有脚本都通过 connect_over_cdp 复用它。

这样既拿到了"真实浏览器指纹 + 会话 Cookie",又不用每次都重新登录。

四个必须知道的限制

① 会话是 Cookie 级的,不是永久的

实测三种保活方式的寿命:

| 方式 | 存活 |

|---|---|

| 只拿 Cookie 调接口 | 35~60 分钟 |

| 常驻浏览器纯挂着 | 约 2 小时 40 分 |

| 常驻浏览器 + 频繁交互 | 约 3 小时 10 分 |

平台没有任何"续期接口"可调(/api/get-ainfo、islogin、账户中心、authui/keepalive 全试过,

都不下发新令牌;画廊的 /auth/huawei 明确要 OAuth code)。所以一天扫码 2~3 次是硬成本。

② Cookie 可能"还不在"

导出脚本一开始经常报"未登录"——不是没登录,而是某些 Cookie(如华为云的 ECO_CN_ID)

要访问过特定页面之后才由前端脚本写入。修法是:导出前先"预热"一次目标页,等 3~4 秒再读。

③ 页面 DOM 会"骗人"

自检最初读 document.body.innerText 里有没有"我的博客",结果页面不刷新就一直读到旧快照,

连续 5 个半小时都报"登录正常",实际早在 3 小时前就失效了。

改成调 /index/islogin 判断有没有 userId,才拿到真实状态。

④ 多标签页要收拾

每个任务脚本都另开标签页,干完必须 close(),否则越堆越多;daemon 的自检里还要加一条

"主页面漂移了就拉回任务中心",否则主窗口会停在不知道哪一页。

什么该走接口,什么必须走浏览器

| 动作类型 | 推荐通道 | 例子 |

|---|---|---|

| 幂等的读/写 API | requests + 导出 Cookie | 签到、埋点上报、任务状态查询、活动报名 |

| 富文本编辑器 | CDP 浏览器 | 博客发表(勾声明 → 点发表 → 看 URL 跳转) |

| 开关型 UI(星标/收藏) | CDP 浏览器,先读按钮状态 | GitCode Star(status-btn 的 class 是否含 starred) |

| 需要真实资源 | 人工 | 云学堂实验(创建真实沙箱)、云手机实践 |

小结

网页端自动化的难点不在"能不能调通",而在"跑错了能不能自己发现"。

把登录态托管给一个常驻浏览器、把成功判据换成确定性信号(URL 跳转、状态字段、DOM 状态翻转),

这套东西才能连续几天无人值守地跑下去。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。