Efficient Memory Management for Large Language Model Serving with PagedAttention
通过 PagedAttention 算法实现高效 KV cache 内存管理，构建 vLLM 高吞吐量 LLM 服务系统
All tags
system-design
6 posts tagged with "system-design"
Fairness in Serving Large Language Models
提出 Virtual Token Counter (VTC) 公平调度算法，实现 LLM 推理服务的 token 粒度公平共享，证明 2x 紧上界
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
面向 Kimi 的 KVCache 中心化解耦架构，通过分离 Prefill 和 Decode 集群实现 525% 吞吐量提升
FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling
FlowKV 提出低成本低延迟的 KV Cache 传输方案和负载感知调度器，实现分离式 LLM 推理框架的 96% 传输延迟降低
TraCT: Disaggregated LLM Serving with CXL Shared Memory KV Cache at Rack-Scale
提出基于 CXL 共享内存的机架级 KV Cache 系统 TraCT，消除 RDMA 网络跳数，实现 GPU-CXL 直接 DMA 传输，TTFT 降低 9.8x，吞吐量提升 1.6x
Frontier: Towards Comprehensive and Accurate LLM Inference Simulation
面向现代 LLM 推理服务的离散事件模拟器，支持解耦架构、运行时优化和有状态工作负载，吞吐量误差低于 4%