MegaScale-MoE: 大规模通信高效的生产级混合专家模型训练系统
本文深入分析MegaScale-MoE，一个专为大规模MoE模型高效训练设计的生产系统，通过通信高效并行策略、通信-计算重叠和通信压缩，在1,440个NVIDIA Hopper GPU上训练352B MoE模型实现1.41M tokens/s吞吐量，相比Megatron-LM提升1.88倍。
2 posts tagged with "parallelism-ep"
本文深入分析MegaScale-MoE，一个专为大规模MoE模型高效训练设计的生产系统，通过通信高效并行策略、通信-计算重叠和通信压缩，在1,440个NVIDIA Hopper GPU上训练352B MoE模型实现1.41M tokens/s吞吐量，相比Megatron-LM提升1.88倍。
现代 GPU 工作负载，特别是大语言模型（LLM）推理，受到内核启动开销和粗粒度同步的限制，阻碍了内核间并行性。