46 posts tagged with "communication"
GPU-initiated NVSHMEM redesign of GROMACS domain decomposition halo exchange, fusing data packing and communication to eliminate CPU-GPU sync bottlenecks and improve strong scaling by up to 2x
Meta 提出的容错混合分片数据并行 FT-HSDP：以数据并行副本为容错单元，通过 CPU-GPU 混合 FTAR 全归约与非阻塞追赶协议实现异步恢复，在 10 万 GPU 规模将有效训练时间从 44% 提升至 80%。
Patch-level pipeline parallelism for DiT inference that eliminates pipeline bubbles and enables PCIe-scale multi-GPU inference at 8K resolution
Autoscaling framework using token velocity metric and convertible decoders for 80-96% SLO attainment in disaggregated LLM serving
A systematic analysis of NVIDIA NCCL's internal architecture covering API, protocols, transports, and collective algorithms
块级粒度的灵活上下文并行范式，通过任意点对点通信 + bin-packing 调度，在 256 张 NVIDIA GPU 上实现近线性扩展，attention MFU 提升 1.13x–2.21x
首个面向解耦式 LLM 服务的服务感知自适应 KV 缓存压缩框架，通过统一压缩策略空间 + 贝叶斯剖析引擎 + 服务感知在线控制器，PD 分离场景 JCT 加速最高 9.13x，KV 解耦场景 TTFT 降低最高 32.8x
硬件感知的TB级CTR模型训练框架，通过k步模型合并和拓扑感知通信优化实现4倍加速
基于Tile-Centric原语的编译器框架，高效生成计算-通信重叠内核
端到端序列到序列学习的开创性工作
分解大语言模型的高效并行推理系统
覆盖并行策略、序列并行、MoE并行、内存优化、通信优化、容错与系统框架
从硬件约束出发，推导RL训练的最优并行策略、资源分配和流水线设计
通用分布式加速框架，通过异步去噪实现扩散模型的多设备并行推理
面向多轮LLM Agent RL训练的可扩展基础设施，通过Rollout-as-a-Service解耦训练与推理
本文深入分析MegaScale-MoE，一个专为大规模MoE模型高效训练设计的生产系统，通过通信高效并行策略、通信-计算重叠和通信压缩，在1,440个NVIDIA Hopper GPU上训练352B MoE模型实现1.41M tokens/s吞吐量，相比Megatron-LM提升1.88倍。
首个完全融合的分布式MoE算子，将专家计算和GPU间通信融合为单一持久化GPU内核
本文提出EaaS，一种将MoE模块解耦为独立无状态服务的新型服务系统，实现细粒度资源扩展和固有容错能力，在模拟硬件故障下吞吐量下降不超过2%，并可节省高达37.5%的计算资源。
稀疏驱动的数据同步系统，实现分布式训练5.09×通信加速
针对MoE模型的专家流水线调度器，通过计算通信重叠实现推理吞吐量提升
针对MoE模型的高效All-to-All通信调度器，通过两阶段调度解决负载倾斜和incast问题
自适应向量搜索索引系统，在动态工作负载下实现1.5-38×延迟降低
通过聚合异构互连（NVLink、PCIe、RDMA NIC）提升节点内集合通信带宽
面向扩散Transformer分布式推理的可扩展序列并行引擎
面向高分辨率长视频生成的时空扩散Transformer可扩展推理
突破十亿参数通用机器学习原子间势函数的训练壁垒
利用历史先验的生成式压缩模型实现高达10000倍地球观测数据压缩
PyTorch 全分片数据并行的规模化经验
支持超长序列 Transformer 模型训练的系统优化
用于近无限上下文的环形注意力与分块 Transformer
FP8 大语言模型训练
通过内核融合实现 GPU 上快速软件通信重叠
面向GPU集群长上下文注意力的拓扑感知解码
ByteScale：在超过 12,000 GPU 上高效扩展 2048K 上下文 LLM 训练
通过核心注意力分解实现高效长上下文语言模型训练
Mixture-of-Experts (MoE) 已被 DeepSeek、GPT、Llama、Qwen 等主流大模型采用，以降低计算开销。然而，MoE 中的 Expert Parallelism (EP) 需要频繁的 GPU 间通信（Dispatch 和 Combine），这成为性能瓶颈——通...
现代大规模语言模型预训练严重依赖单程序多数据（SPMD）范式，需要在加速器之间进行紧密耦合。由于这种耦合，瞬时减速、硬件故障和同步开销会阻塞整个计算，在大规模训练时浪费大量计算时间。
MoE 模型推理优化技术综述，分析问题与挑战，总结最新研究进展。
现有的 agentic RL 系统都采用离线批处理模式——数据收集和训练分为独立阶段，使用固定数据集。然而，每次 agent 交互都会产生一个 next-state signal（用户回复、工具输出、终端/GUI 状态变化），这些信号实时蕴含了丰富的训练信息，但没有任何现有系统将其作为在线学习...
自适应专家调度与内存协调的MoE推理运行时系统，通过动态步长预测和缓存感知路由消除99.9%等待延迟。
LongCat-Flash 技术报告，探索大语言模型高效推理与训练加速。
首个面向晶圆级加速器（Cerebras WSE-2，85 万核）的 LLM 推理系统。提出 PLMR 设备模型刻画晶圆级硬件特征，配合细粒度二维并行、Shift 式 KV 缓存管理，以及 PLMR 合规的 MeshGEMM（两跳传输）与 MeshGEMV（K-tree allreduce），相比多卡 A100 SGLang 端到端提速 10–20×、能效 2–2.5×。
Lumos提出高效的大规模LLM训练性能建模与估算方法，支持训练资源优化配置。
COMET提出细粒度计算-通信重叠技术，优化混合专家模型的分布式推理效率。
大规模语言模型（LLM）训练通常分布 across 大量加速器以减少训练时间。由于内部状态和参数梯度需要在每个梯度步骤中交换，所有设备需要使用低延迟高带宽通信链路 co-locate。
提出MPMD流水线并行训练方法，通过JAX/XLA编译器优化实现大规模深度学习训练的高效扩展。