fair-scheduling

Fairness in Serving Large Language Models

提出 Virtual Token Counter (VTC) 公平调度算法，实现 LLM 推理服务的 token 粒度公平共享，证明 2x 紧上界