Blog Tags GitHub
All tags

long-context

75 posts tagged with "long-context"

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

最大规模的训练无关稀疏注意力经验分析，覆盖Qwen 2.5/Llama 3.1/Gemma 3三大模型家族(4B-72B)、16K-128K序列长度、稀疏度0-0.95，发现稀疏注意力Pareto前沿、prefill/decode两阶段行为差异、序列长度与稀疏容忍度关系

sparse attention training-free isoCost analysis Pareto frontier long-context transformer LLM taxonomy Qwen 2.5 Llama 3.1 Gemma 3 vertical-slash SnapKV Quest Block-Sparse FlexPrefill Ada-SnapKV

Video Understanding: Through A Temporal Lens（面向时间维度的视频理解）

Thong Thanh Nguyen 的博士论文，从时间维度系统性地推进视频理解，围绕三大研究目标（推进边界 / 高效捕获时间 / 有效捕获时间）提出五项贡献：(1) MAMA 用减性角度间隔对比 + 元优化样本加权自动标注海量视频；(2) READ 在轻量适配器瓶颈内嵌 RNN，仅微调适配器即在低资源时间定位/视频摘要上超越全量微调；(3) GSMT 用门控状态空间模型（SSM）对密集采样帧建全局语义，配套 Ego-QA/MAD-QA 长视频问答基准；(4) MCL 用运动感知对比学习 + 强运动 tube 选择做时间全景场景图；(5) MSCL 多尺度跨尺度对比 + 特征金字塔做时间定位；并给出面向时间的 LVLM 训练配方（QueryFormer 接口 + 时间训练方案 + 记忆库 + MoE 四步扩展）。

video-understanding vision-language long-context contrastive-learning parameter-efficient state-space-model

MiMo-V2-Flash Technical Report

小米 309B 总参 / 15B 激活的 MoE 推理与 Agent 大模型。混合注意力（5:1 SWA:GA，128 窗口 + 可学习 attention sink，KV/算力近 6× 缩减），27T token 预训练 + MTP，原生 32K 扩展到 256K。提出 Multi-Teacher On-Policy Distillation (MOPD)：多领域 RL 教师提供 token 级 KL 稠密奖励 + ORM 结果奖励，学生在自身分布上蒸馏多专家。以 1/2、1/3 的参数比肩 DeepSeek-V3.2 与 Kimi-K2；SWE-Bench Verified 73.4%。三层 MTP 做自投机解码，接受长度达 3.6、解码提速 2.6×。

mixture-of-experts sparse-attention speculative-decoding long-context rlhf reasoning

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant用率失真理论把KV cache按注意力头分配bit宽度：假设量化MSE满足$D(b)=\alpha\beta^{-b}$，用reverse waterfilling闭式求最优分配，并识别distortion model mismatch这一失效模式——不同量化器$\beta$从3.6到5.3变化，套错模型比uniform更差。校准per-quantizer $\beta$并对K/V单独分配预算后，Qwen3-8B在KIVI 2.5bit的PPL从49.3降到14.9（−70%），QuaRot改善6.6 PPL；全流程校准仅1.6秒，推理零开销。

kv-cache quantization llm-inference long-context

Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving

Tangram 利用「Head-wise 保留量存在输入无关的两级结构」的观察，把非均匀 KV 压缩静态化：Budget Reservation 在调度时固定每头预算、Ragged Paging 用同预算 head 组成独立 page 表消除碎片、AOT Load Balancing 预算 CTA 划分。作为 vLLM drop-in 层，在五个模型 SCBench 上匹配原精度同时端到端吞吐相较 Full-KV 最高提升 2.6×。

kv-cache inference-serving long-context system-optimization attention-mechanism

Tropical: Enhancing SLO Attainment in Disaggregated LLM Serving via SLO-Aware Multiplexing

Tropical 在 disaggregated LLM 服务基础上引入 SLO-aware 多路复用：Multiplexing Toggle 用 slack 检测把短 prefill 借道 decode worker 执行、长 prefill 走独占 prefill worker，兼得低排队与低干扰。在 Mooncake 真实 trace 上 SLO 内可服务请求提升 2.02×，P90 TTFT 相比 DistServe 优化 9×，P90 TPOT 相比 vLLM 优化 2.33×。

inference-serving scheduling system-optimization long-context llm-inference

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

面向 chunked prefill 的稀疏注意力机制，将 2D 块稀疏掩码视为「KV 选择信号」而非「稀疏内核执行计划」，通过 Q-block union + intra-group union 构造 GQA 感知的 per-group KV 块表，实现零拷贝分页注意力执行，在 LLaMA-3.1-8B 上 128K 上下文取得 2.72x 注意力加速且精度接近 dense

sparse-attention efficient-attention kv-cache long-context llm-inference inference-serving

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention

用可微、自适应稀疏的 α-entmax 变换替代分层稀疏注意力中的 top-k 路由，让第一阶段按 query 自适应选择可变数量的 KV 块并为第二阶段 softmax 提供 prior，使整个层级端到端可微且非弥散（non-dispersive）。75% 稀疏度下精度媲美 full attention，Pareto 前沿优于 NSA/InfLLMv2，推理较 FlashAttention-3 最高 3.36x 加速

sparse-attention efficient-attention long-context llm-training kv-cache

RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention

将位置无关 KV 复用（PIC）的恢复粒度从「token 级」提升到「注意力头级」——离线将每个 (layer, head) 分类为 global（12-15%，复用时重算）/ local（85-88%，滑窗内原样复用），配合 token 选择性稀疏 FFN 攻克短上下文 FFN 瓶颈；再以 SegPagedAttention 按 (layer, head) 分页物化头级稀疏、走 FlashAttention 快路避开 attn_mask 4.9-7.6× 惩罚。8×H800 上 TTFT 加速 1.6-3.54×（DeepSeek-V4 达 5.16×）、并发会话 4.7-7.8×、prefill FLOPs 降 67-79.5%，精度媲美稠密

kv-cache long-context inference-serving sparse-attention system-optimization