Blog Tags GitHub
All tags

kv-cache

106 posts tagged with "kv-cache"

Networking-Aware Energy Efficiency in Agentic AI Inference: A Survey（面向网络感知的 Agentic AI 推理能效综述）

CGO 2026 预印本 arXiv 2604.07857。Cornell + NVIDIA 团队（与 Tawa 同作者群）。这是一篇综述论文，系统梳理了 Agentic AI（感知-推理-行动闭环智能体）的能耗挑战与优化方法。核心贡献：① 提出**能量核算框架**，将 Agentic AI 能耗拆解为**计算能量**（FLOPs + 内存访问，DRAM 访问 ~640 pJ vs 算术 <1 pJ）和**通信能量**（token 传输、中间结果交换、多智能体同步）两大瓶颈；② 建立**统一分类学**，四大支柱：模型简化（量化/剪枝/蒸馏/稀疏 MoE/动作简化）、计算控制（token 长度控制/早退/层跳过/解码简化/工作负载调度）、输入与注意力优化（token 剪枝/稀疏注意力/KV 缓存复用）、硬件感知推理（精度调度/DVFS/内存 I/O 优化）；③ 探讨**跨层协同设计**：跨层优化变量（传输-推理耦合/移动感知调度/模型-信道自适应）、用户-边缘-云协作（分割推理/自适应卸载/协作缓存）、通信-推理联合设计（语义通信/RAG 通信/能量感知调度）；④ 识别五大开放挑战：不确定性量化自适应推理、跨模态/跨智能体协作能效、绿色 AI 与性能权衡、联邦绿色学习、碳感知智能体、6G 原生 Agentic AI、能量收集自维持系统。

llm-serving edge-computing energy-efficiency kv-cache quantization wireless-networking

Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving

Nightjar 将投机长度选择建模为上下文多臂赌博机（Contextual MAB），按 batch 大小自适应选择 γ 或彻底关闭投机，并在高负载下把 draft 模型 offload 到 CPU 释放显存扩大 KV cache；在动态请求率下相比标准 SD 吞吐提升最高 14.76%、延迟降低最高 20.18%，相比无 SD 平均提升 27.29%。

speculative-decoding inference-serving kv-cache scheduling system-optimization

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant用率失真理论把KV cache按注意力头分配bit宽度：假设量化MSE满足$D(b)=\alpha\beta^{-b}$，用reverse waterfilling闭式求最优分配，并识别distortion model mismatch这一失效模式——不同量化器$\beta$从3.6到5.3变化，套错模型比uniform更差。校准per-quantizer $\beta$并对K/V单独分配预算后，Qwen3-8B在KIVI 2.5bit的PPL从49.3降到14.9（−70%），QuaRot改善6.6 PPL；全流程校准仅1.6秒，推理零开销。

kv-cache quantization llm-inference long-context

Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving

Tangram 利用「Head-wise 保留量存在输入无关的两级结构」的观察，把非均匀 KV 压缩静态化：Budget Reservation 在调度时固定每头预算、Ragged Paging 用同预算 head 组成独立 page 表消除碎片、AOT Load Balancing 预算 CTA 划分。作为 vLLM drop-in 层，在五个模型 SCBench 上匹配原精度同时端到端吞吐相较 Full-KV 最高提升 2.6×。

kv-cache inference-serving long-context system-optimization attention-mechanism

CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents

首个针对真实编码 Agent（Claude Code）负载的系统研究：会话闭环、上下文持续膨胀、工具触发主导；CacheWise 在 vLLM 上以约 2500 行代码扩展前缀感知调度 + 基于工具元数据的预测式 KVCache 驱逐，评测中 KV 驱逐减少 2–2.6×，session 完成时间最高降低 3.5×，token goodput 提升 1.64–2×。

inference-serving kv-cache scheduling system-optimization llm-inference

LUMEN: Coordinated Failure Recovery for Distributed LLM Serving

针对分布式 LLM 服务中 worker 故障同时丢失 KV cache 与服务容量的问题，提出以负载感知协调决策来做故障恢复的 LUMEN。三大机制：负载感知 KV checkpointing（用 $h(r)=\arg\min_w(q_w+\lambda p_w(r))$ 把 checkpoint 分散到低负载 worker）、局部性感知恢复调度（先按 checkpoint holder 路由再按 average-based 规则重平衡）、投机辅助渐进恢复（在恢复 worker 上加载 draft model，通过 fused batch 单次前向验证辅助最拥堵的存活 worker）。SGLang 原型上，Qwen3-32B/14B 相比 Stop-and-Restart 降低 TTFT 44.4%/29.6%、recovery time 50.0%/64.1%；大规模模拟中在 64 worker、25% 故障率下仍有 46.8-51.2% TTFT 降幅。

inference-serving llm-inference kv-cache speculative-decoding system-optimization

Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving

FlashRT 提出 execution-state capsule：把整个 forward 用 CUDA Graph 静态缓冲区捕获，再把已提交边界处的 KV / 循环 / 卷积 / MTP / 元数据整个 buffer set 作为可 freeze/restore/fork/rollback 的显式对象。相较 vLLM 冷路径，同 hybrid LLM 单流 TTFT 从 200/365/723ms 降到 51/53/54ms，相较 vLLM APC 也快 1.4–2.8×；16k prefix 时相较自身 cold 加速 27×，restore/snapshot 亚毫秒完成，KV-only 恢复的 97.9% token 会发散，证明 hybrid recurrent 状态必须整体 snapshot。

inference-serving kv-cache llm-inference system-optimization

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

WiSP 将低资源 MoE serving 建模为专家权重与 KV 缓存两条 working-set 争夺同一 VRAM 的问题。核心是 routing-aware expert pager（基于 expert_map 的 LRU 分页，字节等价输出）加 MV-WSA 边际价值分配器，联合分配 expert scratch 与 KV pool。iso-VRAM 下相对 vLLM static offload 解码吞吐最高提升 1.95×，Jamba-52B/MiniMax-M2-229B 等 baseline 无法启动的模型上也能可服务，且揭示单流 decode 中 routing 预测只能省显存不能省延迟。

inference-serving mixture-of-experts moe kv-cache system-optimization

LiveServe: 面向实时全模态 LLM 的交互感知服务系统

首个交互感知（interaction-aware）的实时 Omni-LM 服务系统：把播放进度、语音活动、barge-in 事件暴露给调度与 KV 管理。调度器用 U0/U1/U2 三级紧急度优先 first-audio 与近欠载会话、限制超前播放前沿的生成；KV 管理器用 next-use 感知驱逐替代 LRU、并在用户说话时预加载可能需要的 KV 以隐藏 reload 延迟。基于 vLLM-Omni，在两个 Omni-LM 与混合负载上把 P90 音频 TTFP 平均降 1.55×（至多 2.21×），完成请求吞吐平均升 1.15×（至多 1.56×），把大部分 KV reload 移出下一轮关键路径

inference-serving llm-inference kv-cache scheduling system-optimization

LLM Serving Optimization with Variable Prefill and Decode Lengths

在固定 KV-cache 显存预算下研究异构 prefill/decode 长度的离线 LLM 服务调度：证明问题 NP-hard、FCFS/最短输出优先/总长度优先均有无界近似比；提出 Sorted-F 算法——用 F-metric（平均输出长度 / 批大小）平衡批并发与下游解码成本，证明常数因子近似比 ≤48；配三种 Phase-1 求解器（精确 DP、局部交换、分位贪心）与 LP 引导 / receding-horizon 变体。真实混合负载上相对 FCFS 提速 4.87×、相对 MC-SF 提速 2.09×，与 LP 下界差距仅 1.03-1.09×

inference-serving llm-inference scheduling kv-cache theory

SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving

面向 prefill-decode 分离式 LLM 服务的 GPU 友好、无损 KV cache 传输压缩器。核心洞见：BF16 KV 激活的冗余集中在指数字段（指数熵仅 2.89-3.59 bit，而 BF16 指数占 8 bit），Top-16 高频指数即覆盖 ≥99.3%。SplitZip 用定长 4-bit 码编码高频指数（两码打包一字节），罕见指数走稀疏 escape 流（位置+原值），符号-尾数原样保留——比特级无损。离线校准 Top-16 码本消除在线直方图；规整稠密路径 + 稀疏 escape 修正使编解码在 GPU 上无分支高效。真实 BF16 激活上达 613.3 GB/s 压缩、2181.8 GB/s 解压（超越所有已测无损压缩器）；端到端 BF16 KV 传输加速 1.32×、TTFT 1.30×、请求吞吐 1.23×；同法扩展 FP8 在 E5M2 上再压 1.14×

inference-serving kv-cache llm-inference system-optimization

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

面向 chunked prefill 的稀疏注意力机制，将 2D 块稀疏掩码视为「KV 选择信号」而非「稀疏内核执行计划」，通过 Q-block union + intra-group union 构造 GQA 感知的 per-group KV 块表，实现零拷贝分页注意力执行，在 LLaMA-3.1-8B 上 128K 上下文取得 2.72x 注意力加速且精度接近 dense

sparse-attention efficient-attention kv-cache long-context llm-inference inference-serving

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention

用可微、自适应稀疏的 α-entmax 变换替代分层稀疏注意力中的 top-k 路由，让第一阶段按 query 自适应选择可变数量的 KV 块并为第二阶段 softmax 提供 prior，使整个层级端到端可微且非弥散（non-dispersive）。75% 稀疏度下精度媲美 full attention，Pareto 前沿优于 NSA/InfLLMv2，推理较 FlashAttention-3 最高 3.36x 加速

sparse-attention efficient-attention long-context llm-training kv-cache

RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

将位置无关 KV 复用（PIC）的恢复粒度从「token 级」提升到「注意力头级」——离线将每个 (layer, head) 分类为 global（12-15%，复用时重算）/ local（85-88%，滑窗内原样复用），配合 token 选择性稀疏 FFN 攻克短上下文 FFN 瓶颈；再以 SegPagedAttention 按 (layer, head) 分页物化头级稀疏、走 FlashAttention 快路避开 attn_mask 4.9-7.6× 惩罚。8×H800 上 TTFT 加速 1.6-3.54×（DeepSeek-V4 达 5.16×）、并发会话 4.7-7.8×、prefill FLOPs 降 67-79.5%，精度媲美稠密

kv-cache long-context inference-serving sparse-attention system-optimization

Moebius: Serving Mixture-of-Expert Models with Seamless Runtime Parallelism Switch

首个在运行时于专家并行（EP）与张量并行（TP）间无缝切换、不重启引擎、不丢弃在途请求的 MoE 服务系统。核心洞见：EP 与 TP 是同一模型的两种布局而非两个模型，切换只改变「哪个 rank 拥有哪一片」，唯一成本是搬运换主字节，NVLink 使其在两次 decode step 间完成。用统一内存管理器保持 CUDA graph 跨切换有效、融合直传 kernel、双控制平面同时驻留。8×H200 服务 Qwen3-235B-A22B，RL rollout 超越 1.16-1.25×，每次切换 215-434ms，仅 2.4% 显存开销

inference-serving llm-inference mixture-of-experts parallelism kv-cache

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

首个面向扩散语言模型（DLM）的集群级服务系统。DLM 每步并行解掩多个 token，比自回归模型吞吐高 1.75×，但引入置信度阈值这一「速度-质量」旋钮与 TP 度「时延-吞吐」权衡。DiLaServe 以「去噪步」为调度粒度，用 SLO 感知阈值调整 + 自适应负载控制动态选阈、轻量梯度提升 Step Predictor 在线预测剩余步数、按最低步时延调度并支持步级迁移、两阶段 ILP 定期重构集群 TP 配置，并把近似 KV 缓存的 cache/recompute 步异构成本纳入调度。基于 vLLM+Ray 实现（9500 行），真实 trace 上 SLO 达成率 +30.2pp、时延 -46%、质量仅降 0.09；多基准最高 +56.6pp SLO、精度仅降 0.9%

inference-serving llm-inference diffusion-model scheduling kv-cache