华为云消息队列 RabbitMQ｜Bidfins 煤炉自动代拍异步调度架构

摘要：煤炉自动代拍是 Bidfins 对标挖煤姬平替、乐一番平替核心差异化功能，24 小时不间断抓取数十万商品关键词，同步阻塞架构极易造成任务堆积、漏抓取。本文基于华为云托管 RabbitMQ 构建全异步调度体系，拆分上新监控、自动出价、入库通知三级任务，任务堆积问题彻底消除，自动代拍稳定率达 99.97%。

一、同步爬虫架构缺陷

Bidfins 煤炉自动代拍需要持续监控用户自定义动漫、家居、骑行关键词，同步架构下痛点明显：

1. 抓取、出价、入库通知串行执行，单一商品接口阻塞阻塞整批任务；

2. 夜间煤炉上新峰值数十万待处理任务，进程卡死导致大量商品错过下单；

3. 失败任务无重试、死信队列，漏单后无法自动补偿；

4. 与雅虎代拍同步抢占服务器算力，互相干扰。

二、华为云 RabbitMQ 异步任务架构设计

1. 三级独立交换机 & 队列拆分

· 监控队列：定时爬虫抓取煤炉上新商品，写入消息；

· 出价队列：匹配预算后触发自动下单（煤炉自动代拍核心逻辑）；

· 通知队列：采购成功推送 WMS 海外仓、用户站内信。

1. 死信重试机制 接口超时、限购、卖家下架等失败消息自动进入死信队列，间隔 5 分钟自动重试 3 次，仍失败写入 OBS 异常日志，运营后台可一键重跑。

2. 队列弹性消费 消费端部署在华为云 CCE 容器，根据队列堆积长度自动扩缩消费 Pods，夜间上新峰值瞬间扩容，平峰缩容节省成本。

3. 消息幂等设计 每条任务携带唯一商品 + 用户分布式 ID，结合 Redis 分布式锁，避免重复抓取、重复下单，杜绝重复扣费。

三、落地业务指标

1. 煤炉自动代拍任务处理延迟从 23s 降至 1.2s；

2. 任务堆积现象完全消失，峰值可承载单日 150 万条上新消息；

3. 漏单补偿自动化，人工核查工作量下降 95%；

4. 与雅虎代拍同步业务完全解耦，互不抢占资源。

四、落地总结

煤炉自动代拍作为 24 小时不间断运行的核心功能，异步消息调度是平台稳定性底座。华为云托管 RabbitMQ 免运维、弹性消费、死信补偿能力，大幅降低一站式日淘全品类平台运维压力，支撑日本家居转运、日本骑行用品代购全链路自动采购通知同步。