Topology-Aware Data Movement for Disaggregated GPU Inference
TopKV — 拓扑感知的KV缓存传输编排器，利用GPU互连层次结构将KV缓存传输延迟降低3-18倍
All tags
system-optimization
134 posts tagged with "system-optimization"
A Photonic-CXL Memory Appliance for Scalable KV Cache Management in LLM Inference
Marvell Photonic Fabric Memory Appliance — 用无源光纤全互连拓扑替代电交换机，实现32TB共享DDR5内存的CXL内存池化
[AAFLOW+] Stateful Operator Abstraction with Zero-Copy Distributed KV Cache Orchestration for Multi-Agent Workflows
AAFLOW+系统将KV缓存作为一等分发系统对象，实现零拷贝的多智能体工作流执行状态共享
FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video Generation
面向视频 DiT 推理的训练无关稀疏注意力系统，通过运行时负载均衡（RLB）和松弛感知稀疏增强（SASA）解决 Top-p 路由在多 GPU 序列并行下的负载不均衡问题
MiniMax Sparse Attention (MSA)
面向 LLM 训练的 GQA-based blockwise sparse attention 机制，通过轻量 Index Branch 实现 per-GQA-group Top-k 选择，在 109B MoE 模型上实现 28.4× FLOPs 减少和 14.2× prefill / 7.6× decoding 加速
PRR: Predict, Reuse, and Repair — Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding
一种基于 EMA 预测器和在线 Softmax 增量修复的投机注意力运行时，打破 DSA 中 selection-to-attention 的关键路径依赖
SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD
在华为昇腾 NPU SuperPOD 上对万亿参数 MoE 模型（DeepSeek-V4）进行全参数后训练的系统优化与面向运筹学的 CPT-SFT 工作流
HGA: Hierarchical Global Attention - Drop-In Exact-Token Routing for Pretrained Long-Context Transformers
作为预训练长上下文 Transformer 的即插即用分层路由算法，保留原始注意力投影，仅通过查询-键内容路由选择历史 token 进行精确 token 级注意力计算
WAR: Workload-Aware Rollouts for Synchronous Agentic Reinforcement Learning
面向同步 Agentic RL 的 workload-aware rollout 系统，通过 model-free speculative decoding (SuffixDecoding) 和 cache-aware scheduling 联合优化解码与调度
Wildcard Match: Robust KV Cache Management for LLM Serving under Output Token Length Uncertainty
基于 Wasserstein DRO 的鲁棒 KV Cache 管理框架，联合优化 GPU 并行配置、缓存预留、请求路由和前缀缓存
FlashAccel: Leveraging High-Bandwidth Flash for High-Throughput LLM Inference
面向 LLM 推理的 HBF（高带宽闪存）与 HBM GPU 软硬件协同设计：通过架构级 SRAM 缓存/预取、专用数据布局与异构存储管理层，将 HBF 的容量优势转化为吞吐与能效。
Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
针对大规模 MoE LLM 推理中数据移动瓶颈的首次全面 profiling 分析，提取六大系统级洞察并在未来晶圆级 GPU 架构上验证
Twilight: Adaptive Attention Sparsity with Hierarchical Top-p Pruning
基于分层 Top-p 剪枝的自适应注意力稀疏框架，加速长上下文 LLM 推理
SpargeAttn: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
训练无关的通用稀疏注意力，加速所有模型推理（语言、图像、视频生成）
Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs
基于分层 Top-p 的稀疏注意力框架，通过聚类级估计 + Token 级自适应分配优化长上下文 LLM 推理
Redesigning GROMACS Halo Exchange: Improving Strong Scaling with GPU-initiated NVSHMEM
GPU-initiated NVSHMEM redesign of GROMACS domain decomposition halo exchange, fusing data packing and communication to eliminate CPU-GPU sync bottlenecks and improve strong scaling by up to 2x
CacheTune: Adaptive KV Cache Reuse for Fast Long-Context LLM Serving
Frequency-guided and hardware-aware KV Cache reuse system achieving 3.72x-4.86x TTFT speedup and 3.93x-6.21x higher throughput via selective recomputation of semantic-critical tokens
A Performance Model for Warp Specialization Kernels
A performance model using differential equations to accurately predict execution time of warp specialization kernels, enabling optimal tile configuration search via Z3 SMT solver
Dissecting the NVIDIA Blackwell Architecture with Microbenchmarks
用微基准测试解剖 NVIDIA Blackwell 消费级 GPU（GeForce RTX 5080, GB203）架构，并与上一代 Hopper（H100 PCIe, GH100）逐子系统对比——涵盖统一 INT32/FP32 核、精简 FP64、第五代张量核心（FP4/FP6）、内存层次（L1/L2/global）与真实负载（D-GEMM、Transformer 推理）功耗。
LIMINAL: Exploring The Frontiers of LLM Decode Performance
An analytical performance model (LIMINAL) that abstracts application requirements and hardware capabilities to systematically explore LLM inference performance limits across current, near-future, and hypothetical hardware
Chopper: 多层次 GPU 表征工具及 LLM 训练低效来源分析
AMD 提出的 Chopper 多粒度 GPU 剖析框架，对 8 卡 MI300X 上 Llama 3 8B 的 FSDP 训练做端到端表征，揭示频率开销（DVFS）是理论与实测性能差距的最大来源。
ACTA: Automatic Configuration of the Tensor Memory Accelerator for High-End GPUs
A software library that heuristically determines optimal tile sizes and queue configurations for TMA-based GPU kernels using the GPU Specification Table (GST) and Little's Law
Blackwell GPU 架构综述
NVIDIA Blackwell GPU 架构的综合技术综述——涵盖第五代张量核心（tcgen05、FP4/FP6）、张量内存 TMEM、硬件解压引擎 DE、重构内存层次（L1/L2/HBM3e/GDDR7）、双芯 B200 互连，以及与 Hopper/H200 的微基准对比与调优策略。综合自 Jarmusch et al. 两篇微基准论文。
GPU 架构：内存层次、CUDA 与张量核心
Michael Brenndoerfer《GPU Architecture:Memory Hierarchy, CUDA and Tensor Cores》全文中文翻译。从第一性原理讲解 GPU 内存层次与带宽阶梯、CUDA 核心与 SM/warp/SIMT 执行模型、张量核心 WMMA 与混合精度、Roofline 模型、GPU 规格解读、消费级 vs 数据中心 GPU，以及内存/带宽/精度/功耗四大实际约束，附 PyTorch 代码示例。
通过张量核心与 CUDA 核心并行执行提升 GPU 吞吐
UNT 与 William & Mary 提出的纯硬件 GEMM 卸载方案：在张量核心执行 GEMM 时，将部分 WMMA 指令翻译为 MAC 指令下放到空闲的 CUDA 核心并行执行，配合额外 load-store 单元缓解访存瓶颈，在 GPGPU-Sim 上最高提升 29% 性能，CUDA 核心利用率从近零提升至平均 ~73%。
Orchestrated Scheduling and Prefetching for GPGPUs
A prefetch-aware (PA) warp scheduling policy that coordinates thread scheduling and data prefetching in GPGPUs to better tolerate long memory latencies
HunyuanVideo: A Systematic Framework For Large Video Generative Models
腾讯混元视频生成基础模型，130亿参数，涵盖数据清洗、架构设计、渐进缩放训练和高效基础设施，综合性能超越Runway Gen-3和Luma 1.6等闭源模型。
PSA: Progressive Sparse Attention — Algorithm and System Co-design for Efficient Attention in LLM Serving
PSA提出渐进式稀疏注意力机制，通过阈值驱动的自适应KV块选择替代固定top-k策略，结合流水线迭代执行和统一内存管理，在保证精度的同时最大化推理吞吐。
Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation
Adrenaline提出注意力分离与卸载机制，将解码阶段的注意力计算卸载到预填充实例，解决PD分离导致的资源利用率低下问题，最高提升1.68×推理吞吐。
PPFlow: 金字塔分块化流的高效视觉生成
PPFlow 用金字塔分块化（高噪声时间步用大 patch、低噪声时间步用小 patch）替换 DiT 固定 patch size，仅切换 Patchify/Unpatchify 线性投影而共享 DiT blocks，实现 1.6–2.0× 去噪加速且质量不降，从预训练模型适配仅需 +8.9% 训练 FLOPs。
TaiChi: Prefill-Decode Aggregation or Disaggregation? Unifying Both for Goodput-Optimized LLM Serving
TaiChi提出一种统一的LLM推理服务系统，通过混合模式推理和延迟迁移调度策略，在任意TTFT和TPOT SLO组合下实现最优goodput。
HunyuanVideo 1.5 Technical Report
腾讯轻量级开源视频生成模型，仅83亿参数即达SOTA视觉质量，支持SSTA稀疏注意力加速、视频超分到1080p、消费级GPU推理
DDiT: 动态 Patch 调度的高效扩散 Transformer
DDiT 提出测试时（training-free）动态分块策略——根据内容复杂度与去噪时间步自适应调整 patch size：高噪声步用粗 patch 建模全局结构、低噪声步用细 patch 精修局部细节；通过三阶有限差分度量潜表示演化速率驱动调度器，在 FLUX-1.Dev / Wan 2.1 上实现最高 3.52×/3.2× 加速且不损画质。
DC-DiT: 动态分块的自适应计算与弹性推理扩散 Transformer
DC-DiT 用学习式 encoder-router-decoder 支架替换扩散 Transformer 的固定 patchify，端到端学习内容自适应的动态分块 tokenization，实现跨空间/时间步的自适应计算与单一 checkpoint 弹性推理，FLOPs 降低 36.8%、FID 提升 37.8%。
Kairos: Towards Load-Aware Prefill Deflection for Disaggregated LLM Serving
面向 PD 分离式 LLM 服务的负载感知 Prefill 偏转调度器 Kairos：让 decode 节点以 chunked-prefill 方式代跑 prefill，消除跨节点 KV 传输，P95 TTFT 最高降低 81%。
SRT: Speculative Rollout with Tree-Structured Cache for Reinforcement Learning
Tree-structured speculative rollout cache for RL that eliminates redundant computation across rollouts, enabling faster policy optimization
Fine-Tuning and Serving Gemma 4 31B on Google Cloud TPU: A Technical Comparison with GPU Baselines
End-to-end TPU migration for Gemma 4 31B: 1.61× faster training at 2.12× lower cost, with 66% higher long-context inference throughput
PipeFusion: Displaced Patch Pipeline Parallelism for Inference of Diffusion Transformer Models
Patch-level pipeline parallelism for DiT inference that eliminates pipeline bubbles and enables PCIe-scale multi-GPU inference at 8K resolution
TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention
Position persistent sparse attention leveraging spatial coherence of high-attention tokens across Transformer layers for 2.1× decoding speedup
Robust Representation Consistency Model via Contrastive Denoising
rRCM reformulates generative denoising as discriminative latent-space learning for certified robustness with 85× speedup
TokenScale: Timely and Accurate Autoscaling for Disaggregated LLM Serving with Token Velocity
Autoscaling framework using token velocity metric and convertible decoders for 80-96% SLO attainment in disaggregated LLM serving
FP8 P-Cast Precision in Attention: Sink-Induced Collapse and the Optimality of S=2^8
A quantitative analysis of FP8 E4M3 attention P-casting revealing P-collapse under attention sink and characterizing S=256 as the optimal static scaling factor
DreamX-World 1.0: A General-Purpose Interactive World Model
A general-purpose interactive text/image-to-video world model supporting camera navigation, scene revisits, and promptable events with 16 FPS streaming on 8x RTX 5090
Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
MrFlow achieves 10x+ training-free acceleration for flow-matching diffusion models via a four-stage low-to-high resolution pipeline
ProSpec RL: Plan Ahead, then Execute
受人类前瞻性思维启发的强化学习方法：智能体通过动态模型对若干动作序列进行 n 条虚拟轨迹的前向想象，结合模型预测控制（MPC）挑选高价值动作；再以循环一致性约束状态可逆性，避免不可逆事件并生成大量虚拟轨迹提升数据效率。在 DMControl-100k 六个环境中取得五项最好成绩，中位数分数 807.5，比 PlayVirtual 提升 8.32%，比 CURL 提升 44.20%。
KernelBench: Can LLMs Write Efficient GPU Kernels?
A benchmark framework for evaluating LLMs' ability to generate fast and correct GPU kernels across 250 PyTorch workloads
PyGraph: Robust Compiler Support for CUDA Graphs in PyTorch
针对 PyTorch 中 CUDA Graph 部署困难的编译器框架。提出三项优化：CGCT（自动代码变换使 ML 程序兼容 CUDA Graph）、PI（参数间接寻址将数据拷贝转为指针拷贝，最高减少 99% 拷贝量）、SCG（基于成本效益分析的有选择部署）。在 25 个 ML 工作负载上，PyGraph 比 PyTorch2-CG 平均提速 29%，最高 3.36×，且在分布式 Tensor Parallelism 下表现更强。
Demystifying NCCL: An In-depth Analysis of GPU Communication Protocols and Algorithms
A systematic analysis of NVIDIA NCCL's internal architecture covering API, protocols, transports, and collective algorithms
TetriServe: Efficiently Serving Mixed DiT Workloads
TetriServe 针对异构分辨率、紧 SLO 的 Diffusion Transformer 在线服务，首创 step-level sequence parallelism：把连续时间轴离散为固定长度轮次，先用剖析驱动的成本模型为每个请求求最小 GPU-hour 分配以满足 deadline，再以'避免必迟到'为目标做请求打包。相较固定 SP baseline，SLO Attainment Ratio 最高提升 32%，覆盖 FLUX.1-dev 与 SD3、H100 与 A40，稳定应对突发流量。
ProServe: Unified Multi-Priority Request Scheduling for LLM Serving
ProServe 将多优先级 LLM 服务形式化为服务增益最大化问题，提出 Token-level Deadline-aware Gain (TDG)；引擎层 SlideBatching 用滑动 urgent/normal 边界结合密度与截止时间排序，服务层 GoRouting 做增益导向、感知能力的分发，跨四个开源数据集与工业追踪相对 SOTA 系统增益提升最多 35%、SLO 达成率提升最多 52%。
Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving
Nightjar 将投机长度选择建模为上下文多臂赌博机（Contextual MAB），按 batch 大小自适应选择 γ 或彻底关闭投机，并在高负载下把 draft 模型 offload 到 CPU 释放显存扩大 KV cache；在动态请求率下相比标准 SD 吞吐提升最高 14.76%、延迟降低最高 20.18%，相比无 SD 平均提升 27.29%。
Parallelizing Tool Execution and LLM Generation for Low-Latency Agent Serving
PASTE 通过 Pattern Tuple 抽象从历史执行中挖掘控制流与数据依赖，基于风险感知的机会式调度在 LLM 生成阶段就投机执行未来工具调用；跨深度研究、编码、科学 agent 工作负载将端到端任务完成时间平均降低 43.5%，工具延迟降低 1.8×，验证空闲达 10×。
RouterWise: Joint Resource Allocation and Routing for Latency-Aware Multi-Model LLM Serving
RouterWise 首次将多模型 LLM 路由与 GPU 资源分配联合建模，通过对偶价格公式化的分数最大化路由 + setup 特化的延迟分析模型，搜索可行的 tensor 并行/GPU 线程份额组合，在满足延迟 SLO 前提下最大化输出质量。实验表明同一 GPU 集群下不同 setup 的可达质量差异高达 87%，证明资源分配是路由性能的关键决定因素。
Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving
Tangram 利用「Head-wise 保留量存在输入无关的两级结构」的观察，把非均匀 KV 压缩静态化：Budget Reservation 在调度时固定每头预算、Ragged Paging 用同预算 head 组成独立 page 表消除碎片、AOT Load Balancing 预算 CTA 划分。作为 vLLM drop-in 层，在五个模型 SCBench 上匹配原精度同时端到端吞吐相较 Full-KV 最高提升 2.6×。
Characterizing Software Aging in GPU-Based LLM Serving Systems
首次系统性研究GPU上LLM推理引擎的软件老化现象。以三种部署栈（vLLM standalone/Triton+vLLM/PyTorch+HF）在NVIDIA L40S上做6×36小时=216小时压力测试，结合Mann-Kendall/Theil-Sen统计流水线，发现所有部署均存在统计显著的进程私有内存泄漏，泄漏率跨约两个数量级（1.8→157 KB/h），且最脏配置为Triton包裹的旧V0引擎。
M*: A Modular, Extensible, Serving System for Multimodal Models
M* 提出 Walk Graph 抽象把组合式多模态模型建模为组件级 dataflow 图 + 命名 Walks；请求成为图上的遍历。四种组合原语（Sequential/Parallel/Loop/DynamicLoop）与流式边策略统一表达 UMM、Omni、SpeechLM、VLA 与世界模型。BAGEL T2I 端到端延迟低 20%，Qwen3-Omni TTS RTF 快 2.9×、吞吐高 2.7×，V-JEPA 2 机器人 rollout 提速 12.5×。
GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving
GF-DiT 把 GPU 并行度视为一等可调度资源，将 DiT 请求拆为可独立调度的 trajectory tasks 并支持在线 GPU 重分配；提出 group-free collectives 用符号缓冲区 + 边协商实现毫秒级动态通信组，把 communicator 建立时间从 778 ms 降到约 60 μs；相比静态并行 pipeline 吞吐提升最多 6.01×、平均延迟降低最多 95%、SLO 违约率降低最多 90%。
Coordinated Scheduling for MoE LLM Serving
Gimbal 为 MoE LLM 推理设计跨层协同调度：前端基于 KV / prefill / 队列 / 专家压力的细粒度 DP 引擎选择 + 引擎内 SJF+aging 队列；后端结合源感知路由统计与 MINLP 校准的启发式专家放置，实现前后端反馈闭环，在 vLLM 之上将 TTFT 降 42.9%、TPOT 降 33.3%，高负载吞吐提升 3.0%。
Service-Induced Congestion in Memory-Constrained LLM Serving
将 LLM 连续批处理下的 KV-Cache 内存增长建模为离散动力系统，证明同质负载下无驱逐平衡点不稳定，最坏极限环吞吐损失可达 50%；异质负载在共素解码长度下才能稳定；给出速率限制准入与请求混合两种消驱逐策略。
Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing
Tropical 在 disaggregated LLM 服务基础上引入 SLO-aware 多路复用：Multiplexing Toggle 用 slack 检测把短 prefill 借道 decode worker 执行、长 prefill 走独占 prefill worker，兼得低排队与低干扰。在 Mooncake 真实 trace 上 SLO 内可服务请求提升 2.02×，P90 TTFT 相比 DistServe 优化 9×，P90 TPOT 相比 vLLM 优化 2.33×。
daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization
GPU kernel 优化的强化学习框架：让 Skill Selection、Policy、Skill Summary 三个 agent 共享同一 LLM backbone 端到端联合优化。选择器用 BM25+LLM 重排检索技能，策略生成多轮 CUDA/Triton，摘要器把成功 rollout 蒸馏为可复用 skill，并用执行验证过滤。SFT 冷启动+多轮 REINFORCE 联合训练。KernelBench 上 daVinci-kernel-14B 在 Fast_1 阈值下 L1/L2/L3 达 37.2%/70.6%/32.2%，8B 上 L2 Fast_1.2 从 9.4→22.1、L3 从 0.5→3.0，超越 Dr. Kernel-14B。
CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents
首个针对真实编码 Agent（Claude Code）负载的系统研究：会话闭环、上下文持续膨胀、工具触发主导；CacheWise 在 vLLM 上以约 2500 行代码扩展前缀感知调度 + 基于工具元数据的预测式 KVCache 驱逐，评测中 KV 驱逐减少 2–2.6×，session 完成时间最高降低 3.5×，token goodput 提升 1.64–2×。
LUMEN: Coordinated Failure Recovery for Distributed LLM Serving
针对分布式 LLM 服务中 worker 故障同时丢失 KV cache 与服务容量的问题，提出以负载感知协调决策来做故障恢复的 LUMEN。三大机制：负载感知 KV checkpointing（用 $h(r)=\arg\min_w(q_w+\lambda p_w(r))$ 把 checkpoint 分散到低负载 worker）、局部性感知恢复调度（先按 checkpoint holder 路由再按 average-based 规则重平衡）、投机辅助渐进恢复（在恢复 worker 上加载 draft model，通过 fused batch 单次前向验证辅助最拥堵的存活 worker）。SGLang 原型上，Qwen3-32B/14B 相比 Stop-and-Restart 降低 TTFT 44.4%/29.6%、recovery time 50.0%/64.1%；大规模模拟中在 64 worker、25% 故障率下仍有 46.8-51.2% TTFT 降幅。
RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving
针对异构 LLM 服务栈的两层调度割裂（router 忽略实例负载，load balancer 忽略质量）问题，将模型路由与负载均衡融合为对具体模型实例的在线赋值。对每批请求求解 quality-latency-cost 三维单纯形加权得分：batched MiniLM+KNN 一次估算 prompt 内在的 quality/output-length，per-tier XGBoost TPOT + dead-reckoning 在线估计延迟，按 LPT 顺序贪心分派。在 13 实例 28 GPU 异构集群、四种模型规模上，单套栈只调权重就能横跨 quality-cost-throughput 前沿；平衡预设在 2.8 s 端到端延迟与 30 req/s 下领先增强版 BEST-Route 2.6-4.1×，最高质量 DeepEval 0.419（+0.013 优于最强基线）。
CloakLM: Obfuscating GPU Memory Layout to Mitigate Model Ex-filtration for Serving
针对第三方共享加速器基础设施上的模型外泄威胁（如 Hermes 通过被动 PCIe 观测无损重建 DNN、TunnelS 通过驱动级访问以高吞吐外泄 HBM），提出软件层内存混淆框架 CloakLM。结合 PCIe 流量整形、层间/层内权重乱序与物理 HBM 页面重映射三种机制，让授权执行保持有效虚拟内存布局且开销可忽略，而未授权观察者看到的是碎片化、语义不连贯的状态。集成于 vLLM 与 PyTorch，与机密计算互补，在 LLaMA/Qwen 分布式推理上实现接近原生的性能同时大幅提高对 PCIe 窃听与 HBM dump 攻击的抵抗力。
ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters
面向异构 spot GPU 集群的低成本 LLM 服务系统。用 roofline 模型解析式估算性能，动态规划联合优化节点配置、并行策略与层分配以最大化异构 GPU 吞吐；结合输出保持的请求迁移与共享 tensor store 并发初始化，将替换节点的准备与在服请求重叠以最小化迁移停机。在 AWS L4/A10G/L40S 异构集群上，Llama-3.1-70B 与 Qwen3-32B 相比 SOTA 基线吞吐分别提升 1.42× 与 1.35×，相比 on-demand 实例在离线/在线服务分别节省 31.9% 与 31.2% 成本。
TurboServe: Serving Streaming Video Generation Efficiently and Economically
首个面向流式视频生成服务的调度系统。将服务建模为在线调度问题，通过迁移感知的 min-max 会话再平衡与负载驱动的 GPU 自动扩缩，配合 GPU-CPU 卸载和 RDMA 会话迁移，联合优化每 chunk 最差延迟与 GPU 成本。在生数科技生产 trace 上，相比基线平均降低最坏每 chunk 延迟 37.5%（最高 51.6%）、降低 GPU 运营成本 37.2%（最高 49.0%），且与离线 oracle 相比调度成本仅差 6.1%。
Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving
FlashRT 提出 execution-state capsule：把整个 forward 用 CUDA Graph 静态缓冲区捕获，再把已提交边界处的 KV / 循环 / 卷积 / MTP / 元数据整个 buffer set 作为可 freeze/restore/fork/rollback 的显式对象。相较 vLLM 冷路径，同 hybrid LLM 单流 TTFT 从 200/365/723ms 降到 51/53/54ms，相较 vLLM APC 也快 1.4–2.8×；16k prefix 时相较自身 cold 加速 27×，restore/snapshot 亚毫秒完成，KV-only 恢复的 97.9% token 会发散，证明 hybrid recurrent 状态必须整体 snapshot。
WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware
WiSP 将低资源 MoE serving 建模为专家权重与 KV 缓存两条 working-set 争夺同一 VRAM 的问题。核心是 routing-aware expert pager（基于 expert_map 的 LRU 分页，字节等价输出）加 MV-WSA 边际价值分配器，联合分配 expert scratch 与 KV pool。iso-VRAM 下相对 vLLM static offload 解码吞吐最高提升 1.95×，Jamba-52B/MiniMax-M2-229B 等 baseline 无法启动的模型上也能可服务，且揭示单流 decode 中 routing 预测只能省显存不能省延迟。
Load Testing for Machine Learning Model Serving Systems at Scale
本文提出工业级 ML 推理容量测试框架 Vanguard：基于自适应反馈搜索（dampening / spike tolerance / convergence detection）、多指标健康评估状态机、以及流量回放的负载生成器，为 GPU 上多类别模型（推荐/排序/视觉/NLP）精确估计可持续吞吐量。14 个工业模型上估计误差中位 5.2%，与实测容量 R²=0.94，单个模型 GPU 减配 49–83%。
LiveServe: 面向实时全模态 LLM 的交互感知服务系统
首个交互感知（interaction-aware）的实时 Omni-LM 服务系统：把播放进度、语音活动、barge-in 事件暴露给调度与 KV 管理。调度器用 U0/U1/U2 三级紧急度优先 first-audio 与近欠载会话、限制超前播放前沿的生成；KV 管理器用 next-use 感知驱逐替代 LRU、并在用户说话时预加载可能需要的 KV 以隐藏 reload 延迟。基于 vLLM-Omni，在两个 Omni-LM 与混合负载上把 P90 音频 TTFP 平均降 1.55×（至多 2.21×），完成请求吞吐平均升 1.15×（至多 1.56×），把大部分 KV reload 移出下一轮关键路径
The Serialized Bridge：Blackwell GPU 机密计算下的 LLM 服务性能恢复
系统性刻画 Intel TDX + NVIDIA GPU-CC 机密计算下 CVM–GPU 桥被串行化的性能规律，并给出可迁移的运行时/加载器/KV 恢复策略；同时首次公开 B300 机密多 GPU NVSwitch 租户能力
Mesh-RL: Coupled subgrid reinforcement learning
受有限元法与区域分解理论启发的强化学习加速框架：把状态空间沿列方向划分为 M 个重叠子网格，各自维护局部 Q_i；在重叠边界上通过边界一致 TD 更新耦合相邻子网格值函数（边界传播引理保证 Bellman 不动点保持）。不改奖励、不改 Bellman 算子、无显式规划，即可显著加速稀疏奖励下的价值传播。在 10×30 与 20×20 网格 50 洞环境中，M=6 让 Q-learning 累积奖励从 -175k 提升到 +454k；SARSA 从 -245k 提升到 +458k；Dyna-Q 亦获额外提升，最终奖励从 -4.3 → 47.9。
SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference
SharQ提出FP4量化与N:M稀疏协同的免训练推理方案：在线抽取outlier主导的稀疏骨干做sparse FP4 GEMM，再用dense FP4 GEMM对稀疏路径的量化+掩码误差做残差补偿，两路径共享单份FP4权重与path-specific scale视图。Llama-3.1-8B/Qwen2.5-7B/Qwen3-30B-A3B/Qwen3-VL-8B上恢复43–63%的NVFP4-FP16精度差，RTX 5090延迟对FP16降2.2–2.4×、对FP8吞吐提升1.2–1.4×，Wan2.2-T2V加SageAttention最高1.58×。
W4A4 Quantization for Inference on Wan2.2-I2V-A14B
面向ICME 2026 W4A4量化挑战赛的Wan2.2-I2V-A14B视频扩散模型4bit权重/4bit激活推理方案。将LLM量化领域的SmoothQuant逐通道平滑与MixQ稀疏离群列拆分迁移到视频扩散FFN，并叠加块级HiF4权重打包与双分支GEMM。在VBench I2V上各项指标相对FP16降幅控制在2–3.5%，运动平滑度反而提升+0.4%，全面优于原生HiFloat4基线（后者跌约5%）。
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
面向 prefill-decode 分离式 LLM 服务的 GPU 友好、无损 KV cache 传输压缩器。核心洞见：BF16 KV 激活的冗余集中在指数字段（指数熵仅 2.89-3.59 bit，而 BF16 指数占 8 bit），Top-16 高频指数即覆盖 ≥99.3%。SplitZip 用定长 4-bit 码编码高频指数（两码打包一字节），罕见指数走稀疏 escape 流（位置+原值），符号-尾数原样保留——比特级无损。离线校准 Top-16 码本消除在线直方图；规整稠密路径 + 稀疏 escape 修正使编解码在 GPU 上无分支高效。真实 BF16 激活上达 613.3 GB/s 压缩、2181.8 GB/s 解压（超越所有已测无损压缩器）；端到端 BF16 KV 传输加速 1.32×、TTFT 1.30×、请求吞吐 1.23×；同法扩展 FP8 在 E5M2 上再压 1.14×
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
首个面向解耦式 LLM 服务的服务感知自适应 KV 缓存压缩框架，通过统一压缩策略空间 + 贝叶斯剖析引擎 + 服务感知在线控制器，PD 分离场景 JCT 加速最高 9.13x，KV 解耦场景 TTFT 降低最高 32.8x
RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention
将位置无关 KV 复用（PIC）的恢复粒度从「token 级」提升到「注意力头级」——离线将每个 (layer, head) 分类为 global（12-15%，复用时重算）/ local（85-88%，滑窗内原样复用），配合 token 选择性稀疏 FFN 攻克短上下文 FFN 瓶颈；再以 SegPagedAttention 按 (layer, head) 分页物化头级稀疏、走 FlashAttention 快路避开 attn_mask 4.9-7.6× 惩罚。8×H800 上 TTFT 加速 1.6-3.54×（DeepSeek-V4 达 5.16×）、并发会话 4.7-7.8×、prefill FLOPs 降 67-79.5%，精度媲美稠密
Efficient Training of Large Language Models on Distributed Infrastructures: A Survey
分布式基础设施上大规模语言模型高效训练的全面综述，涵盖基础设施、并行策略、计算通信优化与系统可靠性
[论文精读] Efficient Training of LLMs on Distributed Infrastructures: A Survey
分布式 LLM 训练系统与基础设施的深度技术分析
Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising
硬件感知的TB级CTR模型训练框架，通过k步模型合并和拓扑感知通信优化实现4倍加速
Flex Attention: A Programming Model for Generating Optimized Attention Kernels
编译器驱动的注意力编程模型，用几行PyTorch代码实现优化的注意力内核
TileLink: Generating Efficient Compute-Communication Overlapping Kernels using Tile-Centric Primitives
基于Tile-Centric原语的编译器框架，高效生成计算-通信重叠内核
Rethinking Key-Value Cache Compression Techniques for Large Language Model Serving
从生产实践角度重新审视KV缓存压缩技术，揭示吞吐量、响应长度和负样本三个被忽视的关键维度
MixCache: Adaptive Hybrid Caching for Video Diffusion Model Acceleration
自适应混合缓存策略加速视频扩散模型推理
Hummingbird: SLO-Oriented GPU Preemption at Microsecond-scale
面向 SLO 的微秒级 GPU 抢占调度系统
UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems
面向 LLM 多智能体系统的通用 RL 优化框架
RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure
通过解耦基础设施实现 Agentic RL 训练的规模化扩展
Hanayo: Harnessing Wave-like Pipeline Parallelism for Enhanced Large Model
波形流水线并行策略，提升大模型训练效率
Understanding GEMM Performance and Energy on NVIDIA Ada Lovelace: A Machine Learning-Based Analytical Approach
基于机器学习的 NVIDIA Ada Lovelace GEMM 性能和能耗分析
An Inquiry into Datacenter TCO for LLM Inference with FP8
FP8 量化对数据中心 LLM 推理 TCO 的影响分析
Tawa: Automatic Warp Specialization for Modern GPUs with Asynchronous References
基于异步引用的现代 GPU 自动 Warp 特化编译器
Microbenchmarking NVIDIA's Blackwell Architecture: An in-depth Architectural Analysis
NVIDIA B200 GPU 微基准测试与架构深度分析
StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation
实时直播视频生成的流式系统
SparseLLM: Towards Global Pruning for Pre-trained Language Models
一种将全局剪枝分解为可管理子问题的LLM压缩框架
Seer: Online Context Learning for Fast Synchronous LLM Reinforcement Learning
一种通过组感知上下文学习加速同步 LLM 强化学习 Rollout 的系统
Fast-LLM: 高效大语言模型训练框架
ServiceNow Research 开源的大语言模型分布式训练库，基于 PyTorch 和 Triton 构建，支持 3D 并行、ZeRO、MoE 等特性
RollPacker: Mitigating Long-Tail Rollouts for Fast, Synchronous RL Post-Training
通过尾部批处理和全栈系统优化解决RL训练中长尾rollout导致的GPU利用率低问题
Who Says Elephants Can''t Run: Bringing Large Scale MoE Models into Cloud
大规模MoE模型的高效推理框架，实现26倍吞吐量提升和4-bit量化
Efficient Streaming Language Models with Attention Sinks
发现Attention Sink现象，提出StreamingLLM框架实现无限长度流式推理
LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving
硬件高效的W4A8 GEMM内核，实现2.90倍加速和4.94倍系统级加速
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
多模型LLM调度的实证研究，分析CPU-GPU卸载和抢占的性能影响，为下一代调度系统提供设计指导
Atom: Low-bit Quantization for Efficient and Accurate LLM Serving
一种低比特量化方法，通过混合精度、细粒度分组量化和动态量化实现高效LLM推理
A Survey on Large Language Model Acceleration based on KV Cache Management
基于KV缓存管理的LLM加速综述，系统梳理Token级、模型级和系统级三层优化策略
Towards Efficient Large Language Model Serving: A Survey on System-Aware KV
系统感知的KV缓存优化综述，从时间、空间、结构三个维度系统梳理LLM推理中的KV缓存管理技术
FlashMoE: Fast Distributed MoE in a Single Kernel
首个完全融合的分布式MoE算子，将专家计算和GPU间通信融合为单一持久化GPU内核
KVFlow: Efficient Prefix Caching for Accelerating LLM-Based Multi-Agent Workflows
面向LLM多智能体工作流的高效前缀缓存管理框架，通过Agent Step Graph和工作流感知驱逐策略实现最高2.19倍加速
NanoFlow: Towards Optimal Large Language Model Serving Throughput
通过设备内并行实现最优LLM服务吞吐量
MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
基于CPU-GPU-I/O流水线调度的高吞吐量MoE推理系统
FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving
FlashInfer：面向LLM推理服务的高效可定制注意力引擎，通过块稀疏格式、JIT编译和负载均衡调度实现高性能注意力计算
FAST: An Efficient Scheduler for All-to-All GPU Communication
针对MoE模型的高效All-to-All通信调度器，通过两阶段调度解决负载倾斜和incast问题
KPerfIR: Towards an Open and Compiler-centric Ecosystem for GPU Kernel Performance
面向现代AI工作负载的编译器中心GPU内核性能分析基础设施
FlexLink: Boosting your NVLink Bandwidth by 27%
通过聚合异构互连（NVLink、PCIe、RDMA NIC）提升节点内集合通信带宽
FinDEP: Efficient MoE Inference with Fine-Grained Scheduling of Disaggregated Expert Parallelism
面向解耦专家并行的细粒度任务调度框架，实现MoE推理吞吐量提升1.61×
EPD-Serve: A Flexible Multimodal EPD Disaggregation Inference Serving System on Ascend
面向多模态大模型的EPD阶段解耦推理系统，在昇腾NPU上实现57-69%吞吐量提升
PipeThreader: Software-Defined Pipelining for Efficient DNN Execution
软件定义的流水线编译器，实现异构硬件单元的高效计算流水线
Tigon: A Distributed Database for a CXL Pod
面向CXL Pod的分布式内存数据库，使用CXL内存原子操作同步跨主机并发访问
XSched: Preemptive Scheduling for Diverse XPUs
面向多样化XPU的抢占式调度框架
TensorIR: An Abstraction for Automatic Tensorized Program Optimization
面向自动张量化程序优化的编译器抽象，通过Block抽象实现硬件张量计算原语的自动利用
Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow
基于最大流的异构GPU集群LLM推理服务系统
RL-VLA³: A Flexible and Asynchronous Reinforcement Learning Framework for VLA Training
面向VLA训练的灵活异步强化学习框架
AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training
面向高效 LLM 后训练的异步流式 RL 框架
Efficient Long-context Language Model Training by Core Attention Disaggregation
通过核心注意力分解实现高效长上下文语言模型训练
CALVO: Improve Serving Efficiency for LLM Inferences with Intense Network Demands
面向网络密集型LLM推理的服务效率优化
Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel
现代 GPU 工作负载，特别是大语言模型（LLM）推理，受到内核启动开销和粗粒度同步的限制，阻碍了内核间并行性。
ExpertFlow: Adaptive Expert Scheduling and Memory Coordination for Efficient MoE Inference
自适应专家调度与内存协调的MoE推理运行时系统，通过动态步长预测和缓存感知路由消除99.9%等待延迟。
RLinf: Flexible and Efficient Large-scale Reinforcement Learning via Macro-to-Micro
强化学习（RL）在推进通用人工智能、具身智能和智能体智能方面展现出巨大潜力。然而，RL 工作流固有的异构性和动态性往往导致现有系统上硬件利用率低和训练缓慢。
COMET: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
COMET提出细粒度计算-通信重叠技术，优化混合专家模型的分布式推理效率。
AIBrix: Towards Scalable, Cost-Effective Large Language Model Inference Infrastructure
云原生LLM推理基础设施框架，通过协同设计实现高密度LoRA管理、分布式KV缓存和异构GPU调度
Scaling Deep Learning Training with MPMD Pipeline Parallelism
提出MPMD流水线并行训练方法，通过JAX/XLA编译器优化实现大规模深度学习训练的高效扩展。
From Slow Bidirectional to Fast Autoregressive Video Diffusion Models (CausVid)
首个与双向扩散模型质量匹敌的自回归视频生成方法，通过非对称蒸馏将50步双向DiT蒸馏为4步因果生成器，实现9.4 FPS流式生成
xDiT: an Inference Engine for Diffusion Transformers (DiTs) with Massive Parallelism
面向扩散 Transformer 的大规模并行推理引擎，混合多种并行策略实现 16 GPU 扩展
PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training
PipeFill利用流水线并行训练中的气泡时间执行额外计算任务，提升GPU利用率。
Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models
Lazarus 是首个面向 MoE 模型的弹性容错训练系统，通过自适应专家副本分配和可证明最优的专家放置算法，在频繁节点故障下实现高达 5.7x 的性能提升