蓝蓝仓库全球 AI 之窗
海外 来源:Hugging Face

Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL

Hugging Face 实践:在 HF Jobs 上用 LoRA 跑异步 GRPO

Hugging Face 实践:在 HF Jobs 上用 LoRA 跑异步 GRPO
图片:Hugging Face

要点导读

  • 异步 GRPO 训练
  • 结合 LoRA
  • 无需 NCCL

内容摘要

TRL v1.14 的 AsyncGRPOTrainer 已支持 LoRA,只需将 adapter 同步到 vLLM;文章介绍了基于该功能的训练与推理分离实践。

阅读原文

原文来源:Hugging Face(huggingface.co)。本页摘要与要点整理自公开来源,版权归原作者所有,完整内容请阅读原文。

链接失效 / 信息有误