Veda: Scalable Video Diffusion via Distilled Sparse Attention（蒸馏式稀疏注意力）
面向大规模视频扩散 Transformer（DiT）的稀疏注意力加速框架。核心洞见：生成质量并非由稀疏率本身决定，而取决于稀疏掩码与全注意力 tile 级几何结构的对齐程度。Veda 把 tile 选择建模为对全注意力的显式重建问题：(1) 蒸馏式 tile 打分——用轻量估计器从全注意力 backbone 蒸馏 tile 级分数，配合 TripPool（Avg/Max/Min 三元统计）与逐头 MLP 投影降低估计误差，训练时对 backbone 特征做 stop-gradient 解耦掩码学习与特征学习；(2) 逐头 tiling 搜索（Head-aware Tiling）——为每层每头分配 (p_t,p_h,p_w) 分块配置以最小化稀疏输出与全注意力输出的 Frobenius 误差；(3) 硬件高效 tile-skipping kernel（ThunderKittens/Hopper TMA+Warp Specialization，达 FA3 80% MFU）。在 Waver-T2V-12B 720P 10 秒视频上取得 5.1× 端到端、10.5× 自注意力加速，注意力开销从 92% 降至 50%，且序列越长收益越大。