Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
Hugging Face 实践:在 HF Jobs 上用 LoRA 跑异步 GRPO
要点导读
- 异步 GRPO 训练
- 结合 LoRA
- 无需 NCCL
内容摘要
TRL v1.14 的 AsyncGRPOTrainer 已支持 LoRA,只需将 adapter 同步到 vLLM;文章介绍了基于该功能的训练与推理分离实践。
阅读原文
原文来源:Hugging Face(huggingface.co)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。