标题WeightBridge: An Efficient Weight Transfer Library for Reinforcement Learning来源arXiv, 2609.25442v1️文章简介研究问题在大语言模型的强化学习RL训练中如何将更新后的模型参数高效地从训练节点同步到推理节点以解决因硬件带宽瓶颈和布局差异导致的GPU长时间等待问题主要贡献论文提出了WeightBridge一个能自动适配不同并行策略和同步模式的高效权重传输库将GPU平均停滞时间降低了最高42倍。重点思路自动提取权重对应关系不依赖硬编码规则而是通过分析后端引擎加载权重的行为自动推导训练端和推理端之间每个权重元素的精确对应关系解决异构布局下的映射难题。全局无冗余传输规划基于拓扑感知构建三阶段路由计划接收、外部交换、内部交换消除重复数据传输并在多副本间均衡负载避免单点瓶颈使通信量逼近理论下限。解耦的Worker协调机制提供极简API支持同步和异步等多种同步模式独立于训练和推理引擎的控制平面进行协调确保在不修改底层框架的情况下实现高效集成。分析总结性能显著提升在从16B到1T参数的多种模型及不同集群规模下WeightBridge相比现有最先进开源框架如Miles将平均GPU停滞时间降低了5至42倍。接近理论极限其端到端传输时间在多数配置下非常接近理论最优值通过批处理和流水线技术有效隐藏了格式转换和控制平面开销。易用性与通用性强代码代理能在无手动指导的情况下在30分钟内将其集成到现有RL框架中并实现20倍加速证明了其API的通用性和低集成门槛。个人观点论文解决了强化学习中训练与推理后端因并行策略不同而产生的“方言不通”问题释放了被通信阻塞的算力。