Blog Tags GitHub
All tags

llm-inference

173 posts tagged with "llm-inference"

Veda: Scalable Video Diffusion via Distilled Sparse Attention（蒸馏式稀疏注意力）

面向大规模视频扩散 Transformer（DiT）的稀疏注意力加速框架。核心洞见：生成质量并非由稀疏率本身决定，而取决于稀疏掩码与全注意力 tile 级几何结构的对齐程度。Veda 把 tile 选择建模为对全注意力的显式重建问题：(1) 蒸馏式 tile 打分——用轻量估计器从全注意力 backbone 蒸馏 tile 级分数，配合 TripPool（Avg/Max/Min 三元统计）与逐头 MLP 投影降低估计误差，训练时对 backbone 特征做 stop-gradient 解耦掩码学习与特征学习；(2) 逐头 tiling 搜索（Head-aware Tiling）——为每层每头分配 (p_t,p_h,p_w) 分块配置以最小化稀疏输出与全注意力输出的 Frobenius 误差；(3) 硬件高效 tile-skipping kernel（ThunderKittens/Hopper TMA+Warp Specialization，达 FA3 80% MFU）。在 Waver-T2V-12B 720P 10 秒视频上取得 5.1× 端到端、10.5× 自注意力加速，注意力开销从 92% 降至 50%，且序列越长收益越大。

diffusion-model video-generation llm-inference efficient-attention sparse-attention knowledge-distillation

ProServe: Unified Multi-Priority Request Scheduling for LLM Serving

ProServe 将多优先级 LLM 服务形式化为服务增益最大化问题，提出 Token-level Deadline-aware Gain (TDG)；引擎层 SlideBatching 用滑动 urgent/normal 边界结合密度与截止时间排序，服务层 GoRouting 做增益导向、感知能力的分发，跨四个开源数据集与工业追踪相对 SOTA 系统增益提升最多 35%、SLO 达成率提升最多 52%。

inference-serving scheduling llm-inference system-optimization

Parallelizing Tool Execution and LLM Generation for Low-Latency Agent Serving

PASTE 通过 Pattern Tuple 抽象从历史执行中挖掘控制流与数据依赖，基于风险感知的机会式调度在 LLM 生成阶段就投机执行未来工具调用；跨深度研究、编码、科学 agent 工作负载将端到端任务完成时间平均降低 43.5%，工具延迟降低 1.8×，验证空闲达 10×。

inference-serving llm-inference scheduling speculative-decoding system-optimization

RouterWise: Joint Resource Allocation and Routing for Latency-Aware Multi-Model LLM Serving

RouterWise 首次将多模型 LLM 路由与 GPU 资源分配联合建模，通过对偶价格公式化的分数最大化路由 + setup 特化的延迟分析模型，搜索可行的 tensor 并行/GPU 线程份额组合，在满足延迟 SLO 前提下最大化输出质量。实验表明同一 GPU 集群下不同 setup 的可达质量差异高达 87%，证明资源分配是路由性能的关键决定因素。

inference-serving scheduling llm-inference system-optimization

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant用率失真理论把KV cache按注意力头分配bit宽度：假设量化MSE满足$D(b)=\alpha\beta^{-b}$，用reverse waterfilling闭式求最优分配，并识别distortion model mismatch这一失效模式——不同量化器$\beta$从3.6到5.3变化，套错模型比uniform更差。校准per-quantizer $\beta$并对K/V单独分配预算后，Qwen3-8B在KIVI 2.5bit的PPL从49.3降到14.9（−70%），QuaRot改善6.6 PPL；全流程校准仅1.6秒，推理零开销。

kv-cache quantization llm-inference long-context

Characterizing Software Aging in GPU-Based LLM Serving Systems

首次系统性研究GPU上LLM推理引擎的软件老化现象。以三种部署栈（vLLM standalone/Triton+vLLM/PyTorch+HF）在NVIDIA L40S上做6×36小时=216小时压力测试，结合Mann-Kendall/Theil-Sen统计流水线，发现所有部署均存在统计显著的进程私有内存泄漏，泄漏率跨约两个数量级（1.8→157 KB/h），且最脏配置为Triton包裹的旧V0引擎。

inference-serving llm-inference system-optimization

Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing

Tropical 在 disaggregated LLM 服务基础上引入 SLO-aware 多路复用：Multiplexing Toggle 用 slack 检测把短 prefill 借道 decode worker 执行、长 prefill 走独占 prefill worker，兼得低排队与低干扰。在 Mooncake 真实 trace 上 SLO 内可服务请求提升 2.02×，P90 TTFT 相比 DistServe 优化 9×，P90 TPOT 相比 vLLM 优化 2.33×。

inference-serving scheduling system-optimization long-context llm-inference

CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents

首个针对真实编码 Agent（Claude Code）负载的系统研究：会话闭环、上下文持续膨胀、工具触发主导；CacheWise 在 vLLM 上以约 2500 行代码扩展前缀感知调度 + 基于工具元数据的预测式 KVCache 驱逐，评测中 KV 驱逐减少 2–2.6×，session 完成时间最高降低 3.5×，token goodput 提升 1.64–2×。

inference-serving kv-cache scheduling system-optimization llm-inference

LUMEN: Coordinated Failure Recovery for Distributed LLM Serving

针对分布式 LLM 服务中 worker 故障同时丢失 KV cache 与服务容量的问题，提出以负载感知协调决策来做故障恢复的 LUMEN。三大机制：负载感知 KV checkpointing（用 $h(r)=\arg\min_w(q_w+\lambda p_w(r))$ 把 checkpoint 分散到低负载 worker）、局部性感知恢复调度（先按 checkpoint holder 路由再按 average-based 规则重平衡）、投机辅助渐进恢复（在恢复 worker 上加载 draft model，通过 fused batch 单次前向验证辅助最拥堵的存活 worker）。SGLang 原型上，Qwen3-32B/14B 相比 Stop-and-Restart 降低 TTFT 44.4%/29.6%、recovery time 50.0%/64.1%；大规模模拟中在 64 worker、25% 故障率下仍有 46.8-51.2% TTFT 降幅。

inference-serving llm-inference kv-cache speculative-decoding system-optimization

RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving

针对异构 LLM 服务栈的两层调度割裂（router 忽略实例负载，load balancer 忽略质量）问题，将模型路由与负载均衡融合为对具体模型实例的在线赋值。对每批请求求解 quality-latency-cost 三维单纯形加权得分：batched MiniLM+KNN 一次估算 prompt 内在的 quality/output-length，per-tier XGBoost TPOT + dead-reckoning 在线估计延迟，按 LPT 顺序贪心分派。在 13 实例 28 GPU 异构集群、四种模型规模上，单套栈只调权重就能横跨 quality-cost-throughput 前沿；平衡预设在 2.8 s 端到端延迟与 30 req/s 下领先增强版 BEST-Route 2.6-4.1×，最高质量 DeepEval 0.419（+0.013 优于最强基线）。

inference-serving llm-inference scheduling system-optimization

CloakLM: Obfuscating GPU Memory Layout to Mitigate Model Ex-filtration for Serving

针对第三方共享加速器基础设施上的模型外泄威胁（如 Hermes 通过被动 PCIe 观测无损重建 DNN、TunnelS 通过驱动级访问以高吞吐外泄 HBM），提出软件层内存混淆框架 CloakLM。结合 PCIe 流量整形、层间/层内权重乱序与物理 HBM 页面重映射三种机制，让授权执行保持有效虚拟内存布局且开销可忽略，而未授权观察者看到的是碎片化、语义不连贯的状态。集成于 vLLM 与 PyTorch，与机密计算互补，在 LLaMA/Qwen 分布式推理上实现接近原生的性能同时大幅提高对 PCIe 窃听与 HBM dump 攻击的抵抗力。

inference-serving llm-inference confidential-computing system-optimization

ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters

面向异构 spot GPU 集群的低成本 LLM 服务系统。用 roofline 模型解析式估算性能，动态规划联合优化节点配置、并行策略与层分配以最大化异构 GPU 吞吐；结合输出保持的请求迁移与共享 tensor store 并发初始化，将替换节点的准备与在服请求重叠以最小化迁移停机。在 AWS L4/A10G/L40S 异构集群上，Llama-3.1-70B 与 Qwen3-32B 相比 SOTA 基线吞吐分别提升 1.42× 与 1.35×，相比 on-demand 实例在离线/在线服务分别节省 31.9% 与 31.2% 成本。

inference-serving llm-inference scheduling parallelism system-optimization

Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving

FlashRT 提出 execution-state capsule：把整个 forward 用 CUDA Graph 静态缓冲区捕获，再把已提交边界处的 KV / 循环 / 卷积 / MTP / 元数据整个 buffer set 作为可 freeze/restore/fork/rollback 的显式对象。相较 vLLM 冷路径，同 hybrid LLM 单流 TTFT 从 200/365/723ms 降到 51/53/54ms，相较 vLLM APC 也快 1.4–2.8×；16k prefix 时相较自身 cold 加速 27×，restore/snapshot 亚毫秒完成，KV-only 恢复的 97.9% token 会发散，证明 hybrid recurrent 状态必须整体 snapshot。

inference-serving kv-cache llm-inference system-optimization

LiveServe: 面向实时全模态 LLM 的交互感知服务系统

首个交互感知（interaction-aware）的实时 Omni-LM 服务系统：把播放进度、语音活动、barge-in 事件暴露给调度与 KV 管理。调度器用 U0/U1/U2 三级紧急度优先 first-audio 与近欠载会话、限制超前播放前沿的生成；KV 管理器用 next-use 感知驱逐替代 LRU、并在用户说话时预加载可能需要的 KV 以隐藏 reload 延迟。基于 vLLM-Omni，在两个 Omni-LM 与混合负载上把 P90 音频 TTFP 平均降 1.55×（至多 2.21×），完成请求吞吐平均升 1.15×（至多 1.56×），把大部分 KV reload 移出下一轮关键路径

inference-serving llm-inference kv-cache scheduling system-optimization

SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

SharQ提出FP4量化与N:M稀疏协同的免训练推理方案：在线抽取outlier主导的稀疏骨干做sparse FP4 GEMM，再用dense FP4 GEMM对稀疏路径的量化+掩码误差做残差补偿，两路径共享单份FP4权重与path-specific scale视图。Llama-3.1-8B/Qwen2.5-7B/Qwen3-30B-A3B/Qwen3-VL-8B上恢复43–63%的NVFP4-FP16精度差，RTX 5090延迟对FP16降2.2–2.4×、对FP8吞吐提升1.2–1.4×，Wan2.2-T2V加SageAttention最高1.58×。

quantization llm-inference system-optimization vision-language

CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs

CAT-Q首次以纯PTQ路线量化LLM到1.58bit三元权重，无需QAT。两个核心模块：Learnable Modulation用可学习因子$(\delta_\mu,\delta_\alpha,\delta_\Delta)$调制预训练权重分布与三元阈值，Softened Ternarization用tanh-based smooth transition函数从identity渐变到hard ternarization。仅512校准样本、8卡A100 8–60小时即可把1.7B–235B模型三元化，性能超越用100B tokens训练的BitNet 1.58-bit v1/v2，训练token量减少约10^5倍。

quantization llm-inference

LLM Serving Optimization with Variable Prefill and Decode Lengths

在固定 KV-cache 显存预算下研究异构 prefill/decode 长度的离线 LLM 服务调度：证明问题 NP-hard、FCFS/最短输出优先/总长度优先均有无界近似比；提出 Sorted-F 算法——用 F-metric（平均输出长度 / 批大小）平衡批并发与下游解码成本，证明常数因子近似比 ≤48；配三种 Phase-1 求解器（精确 DP、局部交换、分位贪心）与 LP 引导 / receding-horizon 变体。真实混合负载上相对 FCFS 提速 4.87×、相对 MC-SF 提速 2.09×，与 LP 下界差距仅 1.03-1.09×

inference-serving llm-inference scheduling kv-cache theory

SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving

面向 prefill-decode 分离式 LLM 服务的 GPU 友好、无损 KV cache 传输压缩器。核心洞见：BF16 KV 激活的冗余集中在指数字段（指数熵仅 2.89-3.59 bit，而 BF16 指数占 8 bit），Top-16 高频指数即覆盖 ≥99.3%。SplitZip 用定长 4-bit 码编码高频指数（两码打包一字节），罕见指数走稀疏 escape 流（位置+原值），符号-尾数原样保留——比特级无损。离线校准 Top-16 码本消除在线直方图；规整稠密路径 + 稀疏 escape 修正使编解码在 GPU 上无分支高效。真实 BF16 激活上达 613.3 GB/s 压缩、2181.8 GB/s 解压（超越所有已测无损压缩器）；端到端 BF16 KV 传输加速 1.32×、TTFT 1.30×、请求吞吐 1.23×；同法扩展 FP8 在 E5M2 上再压 1.14×

inference-serving kv-cache llm-inference system-optimization

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

面向 chunked prefill 的稀疏注意力机制，将 2D 块稀疏掩码视为「KV 选择信号」而非「稀疏内核执行计划」，通过 Q-block union + intra-group union 构造 GQA 感知的 per-group KV 块表，实现零拷贝分页注意力执行，在 LLaMA-3.1-8B 上 128K 上下文取得 2.72x 注意力加速且精度接近 dense

sparse-attention efficient-attention kv-cache long-context llm-inference inference-serving

Moebius: Serving Mixture-of-Expert Models with Seamless Runtime Parallelism Switch

首个在运行时于专家并行（EP）与张量并行（TP）间无缝切换、不重启引擎、不丢弃在途请求的 MoE 服务系统。核心洞见：EP 与 TP 是同一模型的两种布局而非两个模型，切换只改变「哪个 rank 拥有哪一片」，唯一成本是搬运换主字节，NVLink 使其在两次 decode step 间完成。用统一内存管理器保持 CUDA graph 跨切换有效、融合直传 kernel、双控制平面同时驻留。8×H200 服务 Qwen3-235B-A22B，RL rollout 超越 1.16-1.25×，每次切换 215-434ms，仅 2.4% 显存开销

inference-serving llm-inference mixture-of-experts parallelism kv-cache

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

首个面向扩散语言模型（DLM）的集群级服务系统。DLM 每步并行解掩多个 token，比自回归模型吞吐高 1.75×，但引入置信度阈值这一「速度-质量」旋钮与 TP 度「时延-吞吐」权衡。DiLaServe 以「去噪步」为调度粒度，用 SLO 感知阈值调整 + 自适应负载控制动态选阈、轻量梯度提升 Step Predictor 在线预测剩余步数、按最低步时延调度并支持步级迁移、两阶段 ILP 定期重构集群 TP 配置，并把近似 KV 缓存的 cache/recompute 步异构成本纳入调度。基于 vLLM+Ray 实现（9500 行），真实 trace 上 SLO 达成率 +30.2pp、时延 -46%、质量仅降 0.09；多基准最高 +56.6pp SLO、精度仅降 0.9%

inference-serving llm-inference diffusion-model scheduling kv-cache