TaiChi: Prefill-Decode Aggregation or Disaggregation? Unifying Both for Goodput-Optimized LLM Serving
TaiChi提出一种统一的LLM推理服务系统，通过混合模式推理和延迟迁移调度策略，在任意TTFT和TPOT SLO组合下实现最优goodput。
All tags
parallelism
27 posts tagged with "parallelism"
SRT: Speculative Rollout with Tree-Structured Cache for Reinforcement Learning
Tree-structured speculative rollout cache for RL that eliminates redundant computation across rollouts, enabling faster policy optimization
PipeFusion: Displaced Patch Pipeline Parallelism for Inference of Diffusion Transformer Models
Patch-level pipeline parallelism for DiT inference that eliminates pipeline bubbles and enables PCIe-scale multi-GPU inference at 8K resolution
Demystifying NCCL: An In-depth Analysis of GPU Communication Protocols and Algorithms
A systematic analysis of NVIDIA NCCL's internal architecture covering API, protocols, transports, and collective algorithms
TetriServe: Efficiently Serving Mixed DiT Workloads
TetriServe 针对异构分辨率、紧 SLO 的 Diffusion Transformer 在线服务，首创 step-level sequence parallelism：把连续时间轴离散为固定长度轮次，先用剖析驱动的成本模型为每个请求求最小 GPU-hour 分配以满足 deadline，再以'避免必迟到'为目标做请求打包。相较固定 SP baseline，SLO Attainment Ratio 最高提升 32%，覆盖 FLUX.1-dev 与 SD3、H100 与 A40，稳定应对突发流量。
GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
GF-DiT 把 GPU 并行度视为一等可调度资源，将 DiT 请求拆为可独立调度的 trajectory tasks 并支持在线 GPU 重分配；提出 group-free collectives 用符号缓冲区 + 边协商实现毫秒级动态通信组，把 communicator 建立时间从 778 ms 降到约 60 μs；相比静态并行 pipeline 吞吐提升最多 6.01×、平均延迟降低最多 95%、SLO 违约率降低最多 90%。
Coordinated Scheduling for MoE LLM Serving
Gimbal 为 MoE LLM 推理设计跨层协同调度：前端基于 KV / prefill / 队列 / 专家压力的细粒度 DP 引擎选择 + 引擎内 SJF+aging 队列；后端结合源感知路由统计与 MINLP 校准的启发式专家放置，实现前后端反馈闭环，在 vLLM 之上将 TTFT 降 42.9%、TPOT 降 33.3%，高负载吞吐提升 3.0%。
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
面向异构 spot GPU 集群的低成本 LLM 服务系统。用 roofline 模型解析式估算性能，动态规划联合优化节点配置、并行策略与层分配以最大化异构 GPU 吞吐；结合输出保持的请求迁移与共享 tensor store 并发初始化，将替换节点的准备与在服请求重叠以最小化迁移停机。在 AWS L4/A10G/L40S 异构集群上，Llama-3.1-70B 与 Qwen3-32B 相比 SOTA 基线吞吐分别提升 1.42× 与 1.35×，相比 on-demand 实例在离线/在线服务分别节省 31.9% 与 31.2% 成本。
Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation
DigenRL：为扩散生成模型 RL 后训练设计的解耦式（disaggregated）系统。用 Generation-Axis Pipeline (GAP) 沿生成维度细粒度流水，Timestep Parallelism (TSP) 替代数据并行提升 trainer GPU 利用率，Elastic Trainer-Assisted Generation (TAG) 让 trainer 空闲时协助 rollout，Trajectory-Consistent Stale Sync (TCSS) 严格约束一步陈旧样本。相比 VeRL-Omni 在 QwenImage 20B 上加速 1.56×–2.21×；HunyuanVideo 1.13×–1.49×；异构 GPU 场景 1.46×–1.85×；消融显示 GAP+TSP+TAG+TCSS 累计将 speedup 从 naive 1.52× 提升到 3.34×。
Moebius: Serving Mixture-of-Expert Models with Seamless Runtime Parallelism Switch
首个在运行时于专家并行（EP）与张量并行（TP）间无缝切换、不重启引擎、不丢弃在途请求的 MoE 服务系统。核心洞见：EP 与 TP 是同一模型的两种布局而非两个模型，切换只改变「哪个 rank 拥有哪一片」，唯一成本是搬运换主字节，NVLink 使其在两次 decode step 间完成。用统一内存管理器保持 CUDA graph 跨切换有效、融合直传 kernel、双控制平面同时驻留。8×H200 服务 Qwen3-235B-A22B，RL rollout 超越 1.16-1.25×，每次切换 215-434ms，仅 2.4% 显存开销
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
分布式基础设施上大规模语言模型高效训练的全面综述，涵盖基础设施、并行策略、计算通信优化与系统可靠性
[论文精读] Efficient Training of LLMs on Distributed Infrastructures: A Survey
分布式 LLM 训练系统与基础设施的深度技术分析
StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation
实时直播视频生成的流式系统
DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models
分解大语言模型的高效并行推理系统
RL Infra 系统设计：GPU硬件×网络拓扑×模型结构→并行策略×资源配比×流水线
从硬件约束出发，推导RL训练的最优并行策略、资源分配和流水线设计
Expert-as-a-Service (EaaS): 高效、可扩展、鲁棒的大规模MoE模型服务系统
本文提出EaaS，一种将MoE模块解耦为独立无状态服务的新型服务系统，实现细粒度资源扩展和固有容错能力，在模拟硬件故障下吞吐量下降不超过2%，并可节省高达37.5%的计算资源。
Breaking the Training Barrier of Billion-Parameter Universal Machine Learning Interatomic Potentials
突破十亿参数通用机器学习原子间势函数的训练壁垒
MoE 推理优化：问题、挑战与最新研究进展
MoE 模型推理优化技术综述，分析问题与挑战，总结最新研究进展。
Scalable Training of Mixture-of-Experts Models with Megatron Core
NVIDIA提出基于Megatron Core的可扩展MoE模型训练方法，支持大规模混合专家模型的高效分布式训练。
LongCat-Flash Technical Report
LongCat-Flash 技术报告，探索大语言模型高效推理与训练加速。
Lumos: Efficient Performance Modeling and Estimation for Large-scale LLM Training
Lumos提出高效的大规模LLM训练性能建模与估算方法，支持训练资源优化配置。
COMET: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
COMET提出细粒度计算-通信重叠技术，优化混合专家模型的分布式推理效率。
Scaling Deep Learning Training with MPMD Pipeline Parallelism
提出MPMD流水线并行训练方法，通过JAX/XLA编译器优化实现大规模深度学习训练的高效扩展。
PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training
PipeFill利用流水线并行训练中的气泡时间执行额外计算任务，提升GPU利用率。
LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
LeanAttention提出硬件感知的可扩展注意力机制，优化Transformer解码阶段的注意力计算效率。
QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving
QServe提出W4A8KV4量化与系统协同设计，通过QoQ算法和QServe推理库实现LLM服务吞吐量提升2.36倍，成本降低3倍。
EAGLE 系列：大语言模型投机解码加速
EAGLE 系列是针对大语言模型（LLM）推理加速的投机解码（Speculative Decoding）方法，由 Yuhui Li 等人提出。该系列从特征级自回归、动态草稿树到训练时测试，逐步提升了投机解码的速度和效率。