月之暗面联手 UCLA 推出新模型 Moonlight，提升语言模型训练效率

月之暗面联手 UCLA 推出新模型 Moonlight，提升语言模型训练效率

🌟 Moonlight 模型简介
Moonlight 是由 Moonshot AI 与 UCLA 联合开发的 Mixture-of-Expert 模型，提供 30 亿和 160 亿参数配置，使用 5.7 万亿个标记进行训练。该模型在语言理解和代码生成方面表现出色，显著优于传统 AdamW 优化器训练的模型。

⚙️ Muon 优化器的关键技术

• 牛顿-舒尔茨迭代法：通过创新的迭代技术，显著提高了模型的收敛速度和稳定性。

• 权重衰减技术：有效解决了大规模训练中的过拟合问题，进一步提升了模型的泛化能力。

• 分布式优化：结合 ZeRO-1 风格的优化，实现了内存高效和通信高效的分布式训练。

📈 实证结果

• 效率提升：与 AdamW 相比，Moonlight 在计算最优训练中实现了约 2 倍的计算效率提升。

• 性能优化：在多个基准测试中，Moonlight 模型表现出色，特别是在语言理解和代码生成任务上，超越了 LLAMA3-3B、Qwen2.5-3B 和 DeepSeek-v2-Lite 等同类模型。