August 12, 2026 The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs 最大规模的训练无关稀疏注意力经验分析，覆盖Qwen 2.5/Llama 3.1/Gemma 3三大模型家族(4B-72B)、16K-128K序列长度、稀疏度0-0.95，发现稀疏注意力Pareto前沿、prefill/decode两阶段行为差异、序列长度与稀疏容忍度关系 sparse attention training-free isoCost analysis Pareto frontier long-context transformer LLM taxonomy Qwen 2.5 Llama 3.1 Gemma 3 vertical-slash SnapKV Quest Block-Sparse FlexPrefill Ada-SnapKV