The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs
最大规模的训练无关稀疏注意力经验分析，覆盖Qwen 2.5/Llama 3.1/Gemma 3三大模型家族(4B-72B)、16K-128K序列长度、稀疏度0-0.95，发现稀疏注意力Pareto前沿、prefill/decode两阶段行为差异、序列长度与稀疏容忍度关系
Paper Review
Summarizing key ideas from LLM and systems research.
Concise reviews of papers on long-context inference, sparse attention, distributed training, and efficient serving.
Formulas, figures, and key takeaways — distilled for quick reading and future reference.
Recent posts
MOD-DiT: Mixture of Distributions for Dynamic Sparse Attention in Video Diffusion Transformers
训练自由、无采样的动态稀疏注意力框架，通过线性近似模型预测三种核心注意力模式（块对角、平行对角、垂直）的强度演化，在 HunyuanVideo 上实现 2.05× 加速，在 Wan2.1 上实现 1.75× 加速。
CapKV: Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective
基于信息瓶颈原理统一解释KV缓存驱逐方法，提出CapKV——通过统计杠杆分数最大化对数行列式容量目标，显著提升长上下文推理的性能-内存权衡