Blog Tags GitHub
All tags

scheduling

46 posts tagged with "scheduling"

TetriServe: Efficiently Serving Mixed DiT Workloads

TetriServe 针对异构分辨率、紧 SLO 的 Diffusion Transformer 在线服务，首创 step-level sequence parallelism：把连续时间轴离散为固定长度轮次，先用剖析驱动的成本模型为每个请求求最小 GPU-hour 分配以满足 deadline，再以'避免必迟到'为目标做请求打包。相较固定 SP baseline，SLO Attainment Ratio 最高提升 32%，覆盖 FLUX.1-dev 与 SD3、H100 与 A40，稳定应对突发流量。

inference-serving diffusion-model scheduling parallelism system-optimization

ProServe: Unified Multi-Priority Request Scheduling for LLM Serving

ProServe 将多优先级 LLM 服务形式化为服务增益最大化问题，提出 Token-level Deadline-aware Gain (TDG)；引擎层 SlideBatching 用滑动 urgent/normal 边界结合密度与截止时间排序，服务层 GoRouting 做增益导向、感知能力的分发，跨四个开源数据集与工业追踪相对 SOTA 系统增益提升最多 35%、SLO 达成率提升最多 52%。

inference-serving scheduling llm-inference system-optimization

Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving

Nightjar 将投机长度选择建模为上下文多臂赌博机（Contextual MAB），按 batch 大小自适应选择 γ 或彻底关闭投机，并在高负载下把 draft 模型 offload 到 CPU 释放显存扩大 KV cache；在动态请求率下相比标准 SD 吞吐提升最高 14.76%、延迟降低最高 20.18%，相比无 SD 平均提升 27.29%。

speculative-decoding inference-serving kv-cache scheduling system-optimization

Parallelizing Tool Execution and LLM Generation for Low-Latency Agent Serving

PASTE 通过 Pattern Tuple 抽象从历史执行中挖掘控制流与数据依赖，基于风险感知的机会式调度在 LLM 生成阶段就投机执行未来工具调用；跨深度研究、编码、科学 agent 工作负载将端到端任务完成时间平均降低 43.5%，工具延迟降低 1.8×，验证空闲达 10×。

inference-serving llm-inference scheduling speculative-decoding system-optimization

RouterWise: Joint Resource Allocation and Routing for Latency-Aware Multi-Model LLM Serving

RouterWise 首次将多模型 LLM 路由与 GPU 资源分配联合建模，通过对偶价格公式化的分数最大化路由 + setup 特化的延迟分析模型，搜索可行的 tensor 并行/GPU 线程份额组合，在满足延迟 SLO 前提下最大化输出质量。实验表明同一 GPU 集群下不同 setup 的可达质量差异高达 87%，证明资源分配是路由性能的关键决定因素。

inference-serving scheduling llm-inference system-optimization

GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

GF-DiT 把 GPU 并行度视为一等可调度资源，将 DiT 请求拆为可独立调度的 trajectory tasks 并支持在线 GPU 重分配；提出 group-free collectives 用符号缓冲区 + 边协商实现毫秒级动态通信组，把 communicator 建立时间从 778 ms 降到约 60 μs；相比静态并行 pipeline 吞吐提升最多 6.01×、平均延迟降低最多 95%、SLO 违约率降低最多 90%。

inference-serving diffusion-model parallelism scheduling system-optimization video-generation

Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing

Tropical 在 disaggregated LLM 服务基础上引入 SLO-aware 多路复用：Multiplexing Toggle 用 slack 检测把短 prefill 借道 decode worker 执行、长 prefill 走独占 prefill worker，兼得低排队与低干扰。在 Mooncake 真实 trace 上 SLO 内可服务请求提升 2.02×，P90 TTFT 相比 DistServe 优化 9×，P90 TPOT 相比 vLLM 优化 2.33×。

inference-serving scheduling system-optimization long-context llm-inference

CacheWise: Understanding Workloads and Optimizing KVCache Management for Efficiently Serving LLM Coding Agents

首个针对真实编码 Agent（Claude Code）负载的系统研究：会话闭环、上下文持续膨胀、工具触发主导；CacheWise 在 vLLM 上以约 2500 行代码扩展前缀感知调度 + 基于工具元数据的预测式 KVCache 驱逐，评测中 KV 驱逐减少 2–2.6×，session 完成时间最高降低 3.5×，token goodput 提升 1.64–2×。

inference-serving kv-cache scheduling system-optimization llm-inference

RouteBalance: Fused Model Routing and Load Balancing for Heterogeneous LLM Serving

针对异构 LLM 服务栈的两层调度割裂（router 忽略实例负载，load balancer 忽略质量）问题，将模型路由与负载均衡融合为对具体模型实例的在线赋值。对每批请求求解 quality-latency-cost 三维单纯形加权得分：batched MiniLM+KNN 一次估算 prompt 内在的 quality/output-length，per-tier XGBoost TPOT + dead-reckoning 在线估计延迟，按 LPT 顺序贪心分派。在 13 实例 28 GPU 异构集群、四种模型规模上，单套栈只调权重就能横跨 quality-cost-throughput 前沿；平衡预设在 2.8 s 端到端延迟与 30 req/s 下领先增强版 BEST-Route 2.6-4.1×，最高质量 DeepEval 0.419（+0.013 优于最强基线）。

inference-serving llm-inference scheduling system-optimization

ShuntServe: Cost-Efficient LLM Serving on Heterogeneous Spot GPU Clusters

面向异构 spot GPU 集群的低成本 LLM 服务系统。用 roofline 模型解析式估算性能，动态规划联合优化节点配置、并行策略与层分配以最大化异构 GPU 吞吐；结合输出保持的请求迁移与共享 tensor store 并发初始化，将替换节点的准备与在服请求重叠以最小化迁移停机。在 AWS L4/A10G/L40S 异构集群上，Llama-3.1-70B 与 Qwen3-32B 相比 SOTA 基线吞吐分别提升 1.42× 与 1.35×，相比 on-demand 实例在离线/在线服务分别节省 31.9% 与 31.2% 成本。

inference-serving llm-inference scheduling parallelism system-optimization

TurboServe: Serving Streaming Video Generation Efficiently and Economically

首个面向流式视频生成服务的调度系统。将服务建模为在线调度问题，通过迁移感知的 min-max 会话再平衡与负载驱动的 GPU 自动扩缩，配合 GPU-CPU 卸载和 RDMA 会话迁移，联合优化每 chunk 最差延迟与 GPU 成本。在生数科技生产 trace 上，相比基线平均降低最坏每 chunk 延迟 37.5%（最高 51.6%）、降低 GPU 运营成本 37.2%（最高 49.0%），且与离线 oracle 相比调度成本仅差 6.1%。

inference-serving scheduling video-generation system-optimization diffusion-model

Load Testing for Machine Learning Model Serving Systems at Scale

本文提出工业级 ML 推理容量测试框架 Vanguard：基于自适应反馈搜索（dampening / spike tolerance / convergence detection）、多指标健康评估状态机、以及流量回放的负载生成器，为 GPU 上多类别模型（推荐/排序/视觉/NLP）精确估计可持续吞吐量。14 个工业模型上估计误差中位 5.2%，与实测容量 R²=0.94，单个模型 GPU 减配 49–83%。

inference-serving system-optimization scheduling

LiveServe: 面向实时全模态 LLM 的交互感知服务系统

首个交互感知（interaction-aware）的实时 Omni-LM 服务系统：把播放进度、语音活动、barge-in 事件暴露给调度与 KV 管理。调度器用 U0/U1/U2 三级紧急度优先 first-audio 与近欠载会话、限制超前播放前沿的生成；KV 管理器用 next-use 感知驱逐替代 LRU、并在用户说话时预加载可能需要的 KV 以隐藏 reload 延迟。基于 vLLM-Omni，在两个 Omni-LM 与混合负载上把 P90 音频 TTFP 平均降 1.55×（至多 2.21×），完成请求吞吐平均升 1.15×（至多 1.56×），把大部分 KV reload 移出下一轮关键路径

inference-serving llm-inference kv-cache scheduling system-optimization

Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

DigenRL：为扩散生成模型 RL 后训练设计的解耦式（disaggregated）系统。用 Generation-Axis Pipeline (GAP) 沿生成维度细粒度流水，Timestep Parallelism (TSP) 替代数据并行提升 trainer GPU 利用率，Elastic Trainer-Assisted Generation (TAG) 让 trainer 空闲时协助 rollout，Trajectory-Consistent Stale Sync (TCSS) 严格约束一步陈旧样本。相比 VeRL-Omni 在 QwenImage 20B 上加速 1.56×–2.21×；HunyuanVideo 1.13×–1.49×；异构 GPU 场景 1.46×–1.85×；消融显示 GAP+TSP+TAG+TCSS 累计将 speedup 从 naive 1.52× 提升到 3.34×。

diffusion-model distributed-training rlhf parallelism scheduling

LLM Serving Optimization with Variable Prefill and Decode Lengths

在固定 KV-cache 显存预算下研究异构 prefill/decode 长度的离线 LLM 服务调度：证明问题 NP-hard、FCFS/最短输出优先/总长度优先均有无界近似比；提出 Sorted-F 算法——用 F-metric（平均输出长度 / 批大小）平衡批并发与下游解码成本，证明常数因子近似比 ≤48；配三种 Phase-1 求解器（精确 DP、局部交换、分位贪心）与 LP 引导 / receding-horizon 变体。真实混合负载上相对 FCFS 提速 4.87×、相对 MC-SF 提速 2.09×，与 LP 下界差距仅 1.03-1.09×

inference-serving llm-inference scheduling kv-cache theory

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

首个面向扩散语言模型（DLM）的集群级服务系统。DLM 每步并行解掩多个 token，比自回归模型吞吐高 1.75×，但引入置信度阈值这一「速度-质量」旋钮与 TP 度「时延-吞吐」权衡。DiLaServe 以「去噪步」为调度粒度，用 SLO 感知阈值调整 + 自适应负载控制动态选阈、轻量梯度提升 Step Predictor 在线预测剩余步数、按最低步时延调度并支持步级迁移、两阶段 ILP 定期重构集群 TP 配置，并把近似 KV 缓存的 cache/recompute 步异构成本纳入调度。基于 vLLM+Ray 实现（9500 行），真实 trace 上 SLO 达成率 +30.2pp、时延 -46%、质量仅降 0.09；多基准最高 +56.6pp SLO、精度仅降 0.9%

inference-serving llm-inference diffusion-model scheduling kv-cache