57 posts tagged with "distributed-training"
GPU-initiated NVSHMEM redesign of GROMACS domain decomposition halo exchange, fusing data packing and communication to eliminate CPU-GPU sync bottlenecks and improve strong scaling by up to 2x
AMD 提出的 Chopper 多粒度 GPU 剖析框架，对 8 卡 MI300X 上 Llama 3 8B 的 FSDP 训练做端到端表征，揭示频率开销（DVFS）是理论与实测性能差距的最大来源。
Meta 提出的容错混合分片数据并行 FT-HSDP：以数据并行副本为容错单元，通过 CPU-GPU 混合 FTAR 全归约与非阻塞追赶协议实现异步恢复，在 10 万 GPU 规模将有效训练时间从 44% 提升至 80%。
DigenRL：为扩散生成模型 RL 后训练设计的解耦式（disaggregated）系统。用 Generation-Axis Pipeline (GAP) 沿生成维度细粒度流水，Timestep Parallelism (TSP) 替代数据并行提升 trainer GPU 利用率，Elastic Trainer-Assisted Generation (TAG) 让 trainer 空闲时协助 rollout，Trajectory-Consistent Stale Sync (TCSS) 严格约束一步陈旧样本。相比 VeRL-Omni 在 QwenImage 20B 上加速 1.56×–2.21×；HunyuanVideo 1.13×–1.49×；异构 GPU 场景 1.46×–1.85×；消融显示 GAP+TSP+TAG+TCSS 累计将 speedup 从 naive 1.52× 提升到 3.34×。
块级粒度的灵活上下文并行范式，通过任意点对点通信 + bin-packing 调度，在 256 张 NVIDIA GPU 上实现近线性扩展，attention MFU 提升 1.13x–2.21x
基于哈密顿分解的电路交换网络架构，支持超大规模 LLM 训练的灵活、可扩展、低成本互连
分布式基础设施上大规模语言模型高效训练的全面综述，涵盖基础设施、并行策略、计算通信优化与系统可靠性
分布式 LLM 训练系统与基础设施的深度技术分析
通过解耦动量更新和结构化稀疏化，将分布式训练通信量降低高达85倍
分布式训练通信压缩优化器的深度技术分析
Hybrid Expert/Data Transmission for MoE Training
MoE 在大语言模型中的全面综述，涵盖门控函数、专家网络、训练推理方案、系统设计和应用
针对万卡 GPU 集群的低开销、细粒度、常开追踪与实时分析系统，总开销 <2%，内核事件压缩 3,700x
硬件感知的TB级CTR模型训练框架，通过k步模型合并和拓扑感知通信优化实现4倍加速
基于Tile-Centric原语的编译器框架，高效生成计算-通信重叠内核
面向 LLM 多智能体系统的通用 RL 优化框架
面向 Agentic RL 的灵活 Swarm 训练框架
通过解耦基础设施实现 Agentic RL 训练的规模化扩展
使用模型并行训练数十亿参数语言模型
分解大语言模型的高效并行推理系统
覆盖并行策略、序列并行、MoE并行、内存优化、通信优化、容错与系统框架
覆盖分布式RL、RLHF系统、环境加速、采样优化、通信优化、内存优化等方向
从硬件约束出发，推导RL训练的最优并行策略、资源分配和流水线设计
面向资源受限环境的MoE模型高效推理系统，通过智能CPU-GPU协作实现最优执行策略
通过流水线并行实现高准确率零气泡推测解码，突破传统多token预测的结构限制
通过专家卸载和动态放置实现MoE模型训练的高效扩展，支持67倍专家扩展和17.5倍吞吐量提升
稀疏驱动的数据同步系统，实现分布式训练5.09×通信加速
通过动态模型重分片实现高吞吐量LLM推理
利用CPU计算实现灵活的LLM推理
MegaTrain：在单GPU上全精度训练100B+参数大语言模型
面向大语言模型训练的工作负载均衡4D并行
突破十亿参数通用机器学习原子间势函数的训练壁垒
PyTorch 全分片数据并行的规模化经验
支持超长序列 Transformer 模型训练的系统优化
FP8 大语言模型训练
通过内核融合实现 GPU 上快速软件通信重叠
通过压缩优化器状态和激活实现高效FP8训练
面向网络密集型LLM推理的服务效率优化
面向全模态后训练的异步强化学习引擎
MoE 模型推理优化技术综述，分析问题与挑战，总结最新研究进展。
USP 提出统一序列并行方法，用于长上下文生成式 AI 模型。
大语言模型（LLM）的自回归推理存在高延迟问题。投机解码（Speculative Decoding）通过使用轻量级草稿模型提出多个token进行批量验证来缓解这一瓶颈。然而，投机解码的采用受到以下限制：
GMLake 提出高效透明的 GPU 内存碎片整理方法，提升大模型训练效率。
NVIDIA提出基于Megatron Core的可扩展MoE模型训练方法，支持大规模混合专家模型的高效分布式训练。
FCP：面向异构长上下文数据的自适应上下文并行策略，支持非2幂并行度、毫秒级调度开销，训练吞吐提升1.46倍
LongCat-Flash 技术报告，探索大语言模型高效推理与训练加速。
Llama 3 405B 模型在 16K H100 GPU 上的四维并行训练系统设计，涵盖灵活流水线并行、上下文并行、大规模调试方法及硬件建议
用于可扩展百万Token推理的上下文并行技术
Lumos提出高效的大规模LLM训练性能建模与估算方法，支持训练资源优化配置。
通过异步KV缓存预取技术加速LLM推理吞吐量，减少内存访问延迟。
COMET提出细粒度计算-通信重叠技术，优化混合专家模型的分布式推理效率。
大规模语言模型（LLM）训练通常分布 across 大量加速器以减少训练时间。由于内部状态和参数梯度需要在每个梯度步骤中交换，所有设备需要使用低延迟高带宽通信链路 co-locate。
提出MPMD流水线并行训练方法，通过JAX/XLA编译器优化实现大规模深度学习训练的高效扩展。
面向大规模分布式模型训练的故障机器检测系统，基于LSTM-VAE无监督异常检测与机器级相似性分析，实现秒级故障响应。
PipeFill利用流水线并行训练中的气泡时间执行额外计算任务，提升GPU利用率。
提出全流水线分布式Transformer架构，支持超长上下文语言模型的高效训练。
Lazarus 是首个面向 MoE 模型的弹性容错训练系统，通过自适应专家副本分配和可证明最优的专家放置算法，在频繁节点故障下实现高达 5.7x 的性能提升