Optimal Software Pipelining and Warp Specialization for Tensor Core GPUs（Twill：面向 Tensor Core GPU 的最优软件流水线与 Warp 特化）
arXiv 2512.18134，来自 CudaDMA/Singe 同一血统的团队（Bauer/Aiken + Stanford/NVIDIA/Toronto）。首次把软件流水线（Software Pipelining, SWP）与 warp 特化（Warp Specialization, WS）表述为一个可交给现成约束求解器求解的联合优化问题。核心洞见：SWP 与 WS 不应分开处理——WS 恰恰是实现 Tensor Core GPU 上 SWP schedule 所必需的代码生成手段（解决多 warp 协作发射 TC、寄存器工作集、变长延迟操作、阻塞同步中断四大难题）。方法上先用模调度（modulo scheduling，ℤLP 最优求解）得到初始 initiation interval I 与 modulo schedule M，再将 M/I 展开为一段直线程序 Q，在其上叠加 SWP 约束（Uniqueness/Consistency/Completion/Dependence/Capacity）、内存感知约束（活跃变量 live 传播 + 内存容量/SSA）、warp 分配约束（Warp Uniqueness/Variable Latency/Register Limit/Cross-Warp Spills/Concurrency），交给 SMT 求解器（Yices2 QFLIA）联合求解得到 M*、I*、A*。关键实现技巧：成本归一化（cycle count 比值保持的 ℤLP，令问题可解）、变长流式操作（TMA load）零延迟建模 + 深度作为 autotuning 参数、不可满足时单调增大 I/L 重试。系统 Twill 从 Triton TTGIR 抽取依赖图，无启发式、易扩展新架构、对单层循环保证最优。评估在 H100(Hopper)/B200(Blackwell) 上对 Flash Attention 前向/后向传播自动重新发现 FA3（ping-pong scheduling）与 FA4（三组 warp 策略）专家手工方案，性能达 cuDNN/FA 手工实现的 1%~2% 以内。