用「常驻浏览器 + CDP」把网页端自动化做稳:三周踩坑复盘
用「常驻浏览器 + CDP」把网页端自动化做稳:三周踩坑复盘
起因:接口能做的事,只有一半
我们做校园自习空间调度系统时,顺手把一批日常运维动作自动化了:签到、埋点上报、写文章、点收藏。
第一版很天真——抓接口、带 Cookie、requests 直接发。结果三类动作立刻卡住:
• 纯接口类(签到、埋点):一帆风顺;
• 需要编辑器交互类(发布文章、点 Star):没有开放接口,页面里是 CodeMirror、自定义按钮;
• 鉴权边界类(华为云门户):Cookie 是会话级的,浏览器一关就失效,而且把 Cookie 注入无头浏览器会被 WAF 判为非浏览器会话。
所以最后落地的架构不是"纯接口",而是接口 + 常驻浏览器双通道。
架构:一个浏览器常驻,其他脚本连上来
browser_daemon.py 常驻 Chromium(--remote-debugging-port=9222)
├── 用户扫码登录一次
├── 每 5 分钟用 islogin 接口自检登录态
└── 页面默认停在「任务中心」,被其它脚本带走会自动拉回
▲
│ CDP (connect_over_cdp)
┌─────────────┴──────────────┬───────────────────┐
sync_cookie.py publish_*.py 任务脚本(Star/浏览/报名)
(导出 Cookie 给 requests) (在真实登录态里点按钮)
关键点:浏览器只启动一次、登录一次,后续所有脚本都通过 connect_over_cdp 复用它。
这样既拿到了"真实浏览器指纹 + 会话 Cookie",又不用每次都重新登录。
四个必须知道的限制
① 会话是 Cookie 级的,不是永久的
实测三种保活方式的寿命:
| 方式 | 存活 |
|---|---|
| 只拿 Cookie 调接口 | 35~60 分钟 |
| 常驻浏览器纯挂着 | 约 2 小时 40 分 |
| 常驻浏览器 + 频繁交互 | 约 3 小时 10 分 |
平台没有任何"续期接口"可调(/api/get-ainfo、islogin、账户中心、authui/keepalive 全试过,
都不下发新令牌;画廊的 /auth/huawei 明确要 OAuth code)。所以一天扫码 2~3 次是硬成本。
② Cookie 可能"还不在"
导出脚本一开始经常报"未登录"——不是没登录,而是某些 Cookie(如华为云的 ECO_CN_ID)
要访问过特定页面之后才由前端脚本写入。修法是:导出前先"预热"一次目标页,等 3~4 秒再读。
③ 页面 DOM 会"骗人"
自检最初读 document.body.innerText 里有没有"我的博客",结果页面不刷新就一直读到旧快照,
连续 5 个半小时都报"登录正常",实际早在 3 小时前就失效了。
改成调 /index/islogin 判断有没有 userId,才拿到真实状态。
④ 多标签页要收拾
每个任务脚本都另开标签页,干完必须 close(),否则越堆越多;daemon 的自检里还要加一条
"主页面漂移了就拉回任务中心",否则主窗口会停在不知道哪一页。
什么该走接口,什么必须走浏览器
| 动作类型 | 推荐通道 | 例子 |
|---|---|---|
| 幂等的读/写 API | requests + 导出 Cookie | 签到、埋点上报、任务状态查询、活动报名 |
| 富文本编辑器 | CDP 浏览器 | 博客发表(勾声明 → 点发表 → 看 URL 跳转) |
| 开关型 UI(星标/收藏) | CDP 浏览器,先读按钮状态 | GitCode Star(status-btn 的 class 是否含 starred) |
| 需要真实资源 | 人工 | 云学堂实验(创建真实沙箱)、云手机实践 |
小结
网页端自动化的难点不在"能不能调通",而在"跑错了能不能自己发现"。
把登录态托管给一个常驻浏览器、把成功判据换成确定性信号(URL 跳转、状态字段、DOM 状态翻转),
这套东西才能连续几天无人值守地跑下去。
- 点赞
- 收藏
- 关注作者
评论(0)