Blog Tags GitHub
All tags

video-generation

75 posts tagged with "video-generation"

Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

训练无关动态稀疏注意力：通过查询依赖高斯校准阈值、在线 Softmax 内联稀疏化和零阶泰勒代理分数复用，在不修改权重的情况下为视频生成 DiT 提供 2.0×–5.1× 端到端加速

sparse-attention video-generation diffusion-transformer training-free online-softmax flashattention gpu-kernel inference-acceleration block-sparse approximation-correction

WanToFight: Real-Time Generative Game Engine for Multi-Player Combat Interaction

A generative game engine built on Wan-1.3B that simulates real-time two-player KOF '97 gameplay from keyboard input, achieving 30 FPS on a single RTX 5090 with streaming autoregressive generation, player association via CLIP, and 4-step DMD distillation.

generative-game-engine video-generation diffusion-models multi-player-control realtime-inference wandb kof97 streaming-autoregression DMD-distillation

LTX-Video: 实时视频潜在扩散模型

Lightricks 提出的实时文/图生视频模型：把 patchify 操作从 Transformer 输入端移入 Video-VAE，实现 1:192 高压缩（32×32×8 时空下采样 + 128 潜通道），并让 VAE 解码器承担最后一步去噪，无需额外超分模块。1.9B 参数即可在单张 H100 上以 2 秒生成 5 秒 768×512@24fps 视频（快于实时），人评 T2V 胜率 85%、I2V 胜率 91% 显著超越同量级开源模型。

diffusion-model video-generation text-to-video latent-diffusion diffusion-transformer

Waver: 面向逼真视频生成的统一基础模型

字节跳动 Waver 团队的统一图像/视频生成基础模型：基于 Rectified Flow Transformer，用 Hybrid Stream DiT（Dual Stream 前 16 层对齐模态 + Single Stream 后 40 层提效）在单一网络内统一 T2V/I2V/T2I，原生生成 720p 5–10 秒视频再经 Cascade Refiner 级联超分到 1080p（提速 40%）。配套 MLLM 视频质量模型的数据清洗流水线、REPA 表征对齐、mode 时间步采样、192p 运动预训练、视频 APG、模型平均等训练/推理配方，在 Artificial Analysis T2V/I2V 榜单双双第三，复杂运动场景显著领先。

diffusion-model video-generation text-to-video large-model-training diffusion-transformer flow-matching

Veda: Scalable Video Diffusion via Distilled Sparse Attention（蒸馏式稀疏注意力）

面向大规模视频扩散 Transformer（DiT）的稀疏注意力加速框架。核心洞见：生成质量并非由稀疏率本身决定，而取决于稀疏掩码与全注意力 tile 级几何结构的对齐程度。Veda 把 tile 选择建模为对全注意力的显式重建问题：(1) 蒸馏式 tile 打分——用轻量估计器从全注意力 backbone 蒸馏 tile 级分数，配合 TripPool（Avg/Max/Min 三元统计）与逐头 MLP 投影降低估计误差，训练时对 backbone 特征做 stop-gradient 解耦掩码学习与特征学习；(2) 逐头 tiling 搜索（Head-aware Tiling）——为每层每头分配 (p_t,p_h,p_w) 分块配置以最小化稀疏输出与全注意力输出的 Frobenius 误差；(3) 硬件高效 tile-skipping kernel（ThunderKittens/Hopper TMA+Warp Specialization，达 FA3 80% MFU）。在 Waver-T2V-12B 720P 10 秒视频上取得 5.1× 端到端、10.5× 自注意力加速，注意力开销从 92% 降至 50%，且序列越长收益越大。

diffusion-model video-generation llm-inference efficient-attention sparse-attention knowledge-distillation

Video LDM: 高分辨率视频合成的隐扩散模型

Video LDM (Align your Latents) 将 LDM 范式扩展到高分辨率视频生成——先在图像上预训练，再冻结空间层、插入并只训练时序对齐层（时序注意力 + 3D 卷积），把图像生成器转为视频生成器；同时时序微调解码器与超分模型，将 Stable Diffusion 变为最高 1280×2048 的文生视频模型，并首次实现个性化文生视频。

diffusion-model video-generation text-to-video latent-diffusion temporal-modeling

DDiT: 动态 Patch 调度的高效扩散 Transformer

DDiT 提出测试时（training-free）动态分块策略——根据内容复杂度与去噪时间步自适应调整 patch size：高噪声步用粗 patch 建模全局结构、低噪声步用细 patch 精修局部细节；通过三阶有限差分度量潜表示演化速率驱动调度器，在 FLUX-1.Dev / Wan 2.1 上实现最高 3.52×/3.2× 加速且不损画质。

diffusion-model image-generation video-generation system-optimization dynamic-computation

M*: A Modular, Extensible, Serving System for Multimodal Models

M* 提出 Walk Graph 抽象把组合式多模态模型建模为组件级 dataflow 图 + 命名 Walks；请求成为图上的遍历。四种组合原语（Sequential/Parallel/Loop/DynamicLoop）与流式边策略统一表达 UMM、Omni、SpeechLM、VLA 与世界模型。BAGEL T2I 端到端延迟低 20%，Qwen3-Omni TTS RTF 快 2.9×、吞吐高 2.7×，V-JEPA 2 机器人 rollout 提速 12.5×。

inference-serving vision-language diffusion-model system-optimization video-generation

GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

GF-DiT 把 GPU 并行度视为一等可调度资源，将 DiT 请求拆为可独立调度的 trajectory tasks 并支持在线 GPU 重分配；提出 group-free collectives 用符号缓冲区 + 边协商实现毫秒级动态通信组，把 communicator 建立时间从 778 ms 降到约 60 μs；相比静态并行 pipeline 吞吐提升最多 6.01×、平均延迟降低最多 95%、SLO 违约率降低最多 90%。

inference-serving diffusion-model parallelism scheduling system-optimization video-generation

TurboServe: Serving Streaming Video Generation Efficiently and Economically

首个面向流式视频生成服务的调度系统。将服务建模为在线调度问题，通过迁移感知的 min-max 会话再平衡与负载驱动的 GPU 自动扩缩，配合 GPU-CPU 卸载和 RDMA 会话迁移，联合优化每 chunk 最差延迟与 GPU 成本。在生数科技生产 trace 上，相比基线平均降低最坏每 chunk 延迟 37.5%（最高 51.6%）、降低 GPU 运营成本 37.2%（最高 49.0%），且与离线 oracle 相比调度成本仅差 6.1%。

inference-serving scheduling video-generation system-optimization diffusion-model

W4A4 Quantization for Inference on Wan2.2-I2V-A14B

面向ICME 2026 W4A4量化挑战赛的Wan2.2-I2V-A14B视频扩散模型4bit权重/4bit激活推理方案。将LLM量化领域的SmoothQuant逐通道平滑与MixQ稀疏离群列拆分迁移到视频扩散FFN，并叠加块级HiF4权重打包与双分支GEMM。在VBench I2V上各项指标相对FP16降幅控制在2–3.5%，运动平滑度反而提升+0.4%，全面优于原生HiFloat4基线（后者跌约5%）。

quantization diffusion-model video-generation system-optimization

Latte: Latent Diffusion Transformer for Video Generation

首个系统性研究 Transformer 骨干用于潜空间视频扩散的工作。提出 4 种时空解耦的 Latte 变体，并通过大量消融确定视频生成的最佳实践（uniform patch embedding、S-AdaLN、绝对位置编码、图像-视频联合训练），在 4 个标准视频生成基准上达到 SOTA，并扩展到文生视频。

video-generation diffusion-model diffusion-transformer text-to-video attention-mechanism