Hugging Face Blog·· 1 小时前精选AI 评分65
Allen AI 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Allen AI 发布 Olmo-core 3，这是一套面向大规模混合专家（MoE）模型的开源训练框架，支持将 MoE 训练扩展到万亿参数规模。
推荐理由
原文给出了从FSDP转向DDP的MoE训练栈设计、吞吐提升数据和开源入口，读者可据此评估其在大规模MoE训练中的适用性。
来源：Hugging Face Blog · huggingface.co