5 posts tagged with "latent-diffusion"
A fast, memory-efficient pure-Transformer video decoder that decodes latents to pixels frame by frame using a rolling KV cache, achieving 3.6x-4.7x faster throughput and up to 11x less GPU memory compared to convolutional decoders.
Lightricks 提出的实时文/图生视频模型：把 patchify 操作从 Transformer 输入端移入 Video-VAE，实现 1:192 高压缩（32×32×8 时空下采样 + 128 潜通道），并让 VAE 解码器承担最后一步去噪，无需额外超分模块。1.9B 参数即可在单张 H100 上以 2 秒生成 5 秒 768×512@24fps 视频（快于实时），人评 T2V 胜率 85%、I2V 胜率 91% 显著超越同量级开源模型。
Video LDM (Align your Latents) 将 LDM 范式扩展到高分辨率视频生成——先在图像上预训练，再冻结空间层、插入并只训练时序对齐层（时序注意力 + 3D 卷积），把图像生成器转为视频生成器；同时时序微调解码器与超分模型，将 Stable Diffusion 变为最高 1280×2048 的文生视频模型，并首次实现个性化文生视频。
腾讯混元视频生成基础模型，130亿参数，涵盖数据清洗、架构设计、渐进缩放训练和高效基础设施，综合性能超越Runway Gen-3和Luma 1.6等闭源模型。
Mario Larcher 在 Towards Data Science 对 DiT 论文《Scalable Diffusion Models with Transformers》的教学式讲解精读，含扩散公式、无分类器引导、潜在扩散、Patchify、adaLN-Zero 等背景与核心设计