7 posts tagged with "video-understanding"
Next-gen JEPA model with dense predictive loss, deep self-supervision, and multi-modal tokenizers achieving SOTA on dense visual tasks (depth, segmentation, STA) while retaining global scene understanding
Thong Thanh Nguyen 的博士论文，从时间维度系统性地推进视频理解，围绕三大研究目标（推进边界 / 高效捕获时间 / 有效捕获时间）提出五项贡献：(1) MAMA 用减性角度间隔对比 + 元优化样本加权自动标注海量视频；(2) READ 在轻量适配器瓶颈内嵌 RNN，仅微调适配器即在低资源时间定位/视频摘要上超越全量微调；(3) GSMT 用门控状态空间模型（SSM）对密集采样帧建全局语义，配套 Ego-QA/MAD-QA 长视频问答基准；(4) MCL 用运动感知对比学习 + 强运动 tube 选择做时间全景场景图；(5) MSCL 多尺度跨尺度对比 + 特征金字塔做时间定位；并给出面向时间的 LVLM 训练配方（QueryFormer 接口 + 时间训练方案 + 记忆库 + MoE 四步扩展）。
通过阶段式协调推理架构，实现流式 VideoLLM 在单 A100 GPU 上达到 134 FPS 吞吐量和低于 50ms TTFT
支持时空定位、时序检索和视频问答的大规模多模态模型，通过统一编码架构实现视频理解与创作
基于多模态大语言模型的级联系统，用于工业级视频内容审核，通过路由器-排序器架构降低计算成本
通过长和丰富上下文（LRC）建模，增强视频多模态大语言模型的细粒度细节感知和长时序结构捕获能力
通过三阶段渐进训练和6B参数视频编码器，在70+视频理解任务上实现SOTA性能的视频基础模型