HyMCache: A KV Cache Framework for Multi-Turn LLM Serving with CXL-Hybrid Memory
Cost-Efficient Remote KV-Cache Tier Using CXL-Hybrid Memory for Scalable LLM Serving
All tags
llm-serving
16 posts tagged with "llm-serving"
HyMCache
A KV Cache Framework for Multi-Turn LLM Serving with CXL-Hybrid Memory
Robust KV Cache Management for LLM Serving under Output Token Length Uncertainty
A robust KV cache management framework using Wasserstein distributionally robust optimization (DRO) to jointly optimize GPU parallelism, cache reservation, request routing, and prefix caching under output token length uncertainty.
PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
A runtime memory-management system for MoE LLM serving that dynamically quantizes expert weights at runtime to balance GPU memory between model weights and KV cache, using a quality-aware planner with offline sensitivity, online routing statistics, and prompt residuals.
Networking-Aware Energy Efficiency in Agentic AI Inference: A Survey（面向网络感知的 Agentic AI 推理能效综述）
CGO 2026 预印本 arXiv 2604.07857。Cornell + NVIDIA 团队（与 Tawa 同作者群）。这是一篇综述论文，系统梳理了 Agentic AI（感知-推理-行动闭环智能体）的能耗挑战与优化方法。核心贡献：① 提出**能量核算框架**，将 Agentic AI 能耗拆解为**计算能量**（FLOPs + 内存访问，DRAM 访问 ~640 pJ vs 算术 <1 pJ）和**通信能量**（token 传输、中间结果交换、多智能体同步）两大瓶颈；② 建立**统一分类学**，四大支柱：模型简化（量化/剪枝/蒸馏/稀疏 MoE/动作简化）、计算控制（token 长度控制/早退/层跳过/解码简化/工作负载调度）、输入与注意力优化（token 剪枝/稀疏注意力/KV 缓存复用）、硬件感知推理（精度调度/DVFS/内存 I/O 优化）；③ 探讨**跨层协同设计**：跨层优化变量（传输-推理耦合/移动感知调度/模型-信道自适应）、用户-边缘-云协作（分割推理/自适应卸载/协作缓存）、通信-推理联合设计（语义通信/RAG 通信/能量感知调度）；④ 识别五大开放挑战：不确定性量化自适应推理、跨模态/跨智能体协作能效、绿色 AI 与性能权衡、联邦绿色学习、碳感知智能体、6G 原生 Agentic AI、能量收集自维持系统。
KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving
首个面向解耦式 LLM 服务的服务感知自适应 KV 缓存压缩框架，通过统一压缩策略空间 + 贝叶斯剖析引擎 + 服务感知在线控制器，PD 分离场景 JCT 加速最高 9.13x，KV 解耦场景 TTFT 降低最高 32.8x
Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding
PRR 推理运行时，通过 EMA 预测器+增量修复内核将动态稀疏注意力的选择-注意力依赖瓶颈降低 30%+
Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning
Prism 通过 GPU 内存气球技术实现多 LLM 共享服务，统一时间共享和空间共享，SLO 达标率下支持 2.3-3.5x 更多请求，已在 10K+ GPU 生产环境部署
xLLM Technical Report
xLLM 是面向企业级大规模服务的 LLM 推理框架，采用解耦服务-引擎架构，通过动态 PD 分离、EPD 分离和多层流水线优化，吞吐量达到 MindIE 的 1.7x 和 vLLM-Ascend 的 2.2x
Efficient Memory Management for Large Language Model Serving with PagedAttention
通过 PagedAttention 算法实现高效 KV cache 内存管理，构建 vLLM 高吞吐量 LLM 服务系统
Fairness in Serving Large Language Models
提出 Virtual Token Counter (VTC) 公平调度算法，实现 LLM 推理服务的 token 粒度公平共享，证明 2x 紧上界
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
面向 Kimi 的 KVCache 中心化解耦架构，通过分离 Prefill 和 Decode 集群实现 525% 吞吐量提升
FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling
FlowKV 提出低成本低延迟的 KV Cache 传输方案和负载感知调度器，实现分离式 LLM 推理框架的 96% 传输延迟降低
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
提出基于 CXL 共享内存的机架级 KV Cache 系统 TraCT，消除 RDMA 网络跳数，实现 GPU-CXL 直接 DMA 传输，TTFT 降低 9.8x，吞吐量提升 1.6x
Frontier: Towards Comprehensive and Accurate LLM Inference Simulation
面向现代 LLM 推理服务的离散事件模拟器，支持解耦架构、运行时优化和有状态工作负载，吞吐量误差低于 4%
SPECTRE: Hybrid Ordinary-Parallel Speculative Serving for Resource-Efficient LLM Inference
通过复用闲置尾部模型服务作为远程草稿模型，实现资源高效的 LLM 推理服务