基于 verl 框架和 ScaleBox 的代码强化学习实践

项目背景 在基于大模型的代码强化学习（Code RL）训练体系中，奖励信号的获取是一层关键、却长期被低估的系统能力。但随着训练规模和并发强度的持续提升，这一层正在发生明显变化：

随着 Code RL 规模持续扩大，这类面向高并发执行与端到端验证的训练体系，正在成为下一阶段实践中不可或缺的基础设施。
​

• 训练范式的变化：从离线评测走向在线、大规模并发的代码执行；
•     训练瓶颈的变化：奖励计算不再是“附属步骤”，而是对执行性能、稳定性与扩展性的核心考验。

在这一背景下，代码执行与奖励计算，已经不再只是训练流程中的一个功能模块，而逐步演进为 Code RL 系统中的关键基础设施。但在现有实践中，瓶颈依然突出：

• 高并发奖励执行成为系统短板。当前多数 Code RL 方案依赖本地或轻量级沙盒执行代码，在接口抽象、资源隔离、并发调度与横向扩展能力上，最终限制训练吞吐并放大不稳定因素，成为“看不见但最致命”的短板。
• 昇腾平台缺乏可复用的端到端方案。从训练框架到执行沙盒，往往需要用户自行完成大量适配与工程整合，导致链路复杂、复用成本高、验证周期长，难以快速验证和推广。

项目方案

在此背景下，我们构建了基于昇腾平台的 verl × ScaleBox 训练体系。该体系并非简单地“引入一个执行组件”，而是围绕 Code RL 的核心需求，系统性地构建了一套面向高并发奖励计算、并完成昇腾平台验证的端到端解决方案：

可扩展的分布式代码执行能力：通过设计并集成 ScaleBox 分布式代码执行沙盒，实现高并发、低延迟、可横向扩展的
Reward 执行能力，为Code RL 提供稳定可靠的执行底座。  
统一化部署与使用体验：提供 verl × ScaleBox 的统一部署镜像和标准化代码执行奖励接口，降低环境搭建与系统集成成本，使训练流程从“复杂工程问题”回归到“算法与策略迭代”。

Ascend 端到端训练验证：基于 DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-4B、Qwen3-30B-A3B 等模型，完成在昇腾平台上的 Code RL 端到端训练验证，证明该体系在真实训练场景中的可行性与稳定性。