AMD發布全開源MoE大模型Instella-MoE16B參數規模挑戰主流開源模型

7月25日，AMD宣佈推出全開源混合專家模型（MoE）Instella-MoE，該模型擁有160億總參數，每個Token激活28億參數，號稱在同規模開源語言模型中具備領先性能。AMD表示，Instella-MoE完全基於自家AMDInstinctMI300X和MI325XGPU，以及ROCm軟件棧從零訓練完成，並採用GatedMulti-headLatentAttention（GatedMLA）和FarSkip-Collective等架構創新，以提升訓練和推理效率。性能測試顯示，Instella-MoE-16B-A3B基礎模型平均得分達到76.7分，在全開源模型中排名領先，超過SmolLM3-3B、OLMo-3-7B等模型，並在僅激活28億參數的情況下，與更大規模模型競爭。此外，該模型支持64KToken長上下文處理，並完成預訓練、中期訓練、長上下文擴展、監督微調（SFT）、直接偏好優化（DPO）以及強化學習（RL）等完整訓練流程。AMD此次同步公開Instella-MoE全部模型權重、訓練配置、數據配比、中間檢查點及推理代碼，推動開放AI模型研究與復現。AMD表示，Instella-MoE展示了基於AMD硬件和開放軟件生態進行大規模MoE模型訓練的能力，未來將繼續推進更大規模、更強推理能力和更高效率的開源語言模型研發。