sequence-parallelism

FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video Generation

面向视频 DiT 推理的训练无关稀疏注意力系统，通过运行时负载均衡（RLB）和松弛感知稀疏增强（SASA）解决 Top-p 路由在多 GPU 序列并行下的负载不均衡问题