AMD发布全开源MoE大模型Instella-MoE16B参数规模挑战主流开源模型

7月25日，AMD宣布推出全开源混合专家模型（MoE）Instella-MoE，该模型拥有160亿总参数，每个Token激活28亿参数，号称在同规模开源语言模型中具备领先性能。AMD表示，Instella-MoE完全基于自家AMDInstinctMI300X和MI325XGPU，以及ROCm软件栈从零训练完成，并采用GatedMulti-headLatentAttention（GatedMLA）和FarSkip-Collective等架构创新，以提升训练和推理效率。性能测试显示，Instella-MoE-16B-A3B基础模型平均得分达到76.7分，在全开源模型中排名领先，超过SmolLM3-3B、OLMo-3-7B等模型，并在仅激活28亿参数的情况下，与更大规模模型竞争。此外，该模型支持64KToken长上下文处理，并完成预训练、中期训练、长上下文扩展、监督微调（SFT）、直接偏好优化（DPO）以及强化学习（RL）等完整训练流程。AMD此次同步公开Instella-MoE全部模型权重、训练配置、数据配比、中间检查点及推理代码，推动开放AI模型研究与复现。AMD表示，Instella-MoE展示了基于AMD硬件和开放软件生态进行大规模MoE模型训练的能力，未来将继续推进更大规模、更强推理能力和更高效率的开源语言模型研发。