跳到正文
原文
Hugging Face Blog·· 19 天前精选AI 评分78

Hugging Face 博客:用 Storage Bucket 和代理在 HF Jobs 上实现 LoRA 异步 GRPO 训练

Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

AI 导读

Hugging Face 博客介绍 AsyncGRPOTrainer 现可训练 LoRA 适配器并仅同步该适配器到 vLLM(TRL v1.14)。训练器和 vLLM 副本作为独立 HF Jobs 运行在不同机器上,通过挂载 Storage Bucket 传输适配器,代理负责添加认证头、按 KV 前缀路由请求并广播适配器加载。

推荐理由

原文展示了用 LoRA 适配器替代全量权重同步的完整工程方案,读者可据此评估在无共享文件系统的多机环境下做异步 RL 训练的可行性。

来源:Hugging Face Blog · huggingface.co