robust-optimization

Wildcard Match: Robust KV Cache Management for LLM Serving under Output Token Length Uncertainty

基于 Wasserstein DRO 的鲁棒 KV Cache 管理框架，联合优化 GPU 并行配置、缓存预留、请求路由和前缀缓存