UniWorld-Design: From Pixel Generation to Layer-Native Design
基于语义 RGBA 图层的原生视觉设计框架:T2RGBA 文本生成 RGBA 资产 + I2L 指令驱动的图像分层解构
10 posts tagged with "flow-matching"
基于语义 RGBA 图层的原生视觉设计框架:T2RGBA 文本生成 RGBA 资产 + I2L 指令驱动的图像分层解构
16B 参数自回归扩散模型,通过分块因果适配、源锚定蒸馏和长时序自回归蒸馏,实现单张 B200 GPU 上720p@30FPS 的实时流式视频编辑
MiniWorld 提出轻量级可复现的视频世界模型训练框架,基于块因果 Video DiT + Flow Matching + 块级非递减噪声调度 + 滚动 KV Cache 流水线异步去噪,可在单台 8-GPU 服务器上数天内完成训练
A single VLA with bidirectional speed control via Variable-Speed Trajectory Augmentation (VSTA) and explicit speed conditioning, enabling on-demand acceleration/deceleration without retraining
字节跳动 Waver 团队的统一图像/视频生成基础模型:基于 Rectified Flow Transformer,用 Hybrid Stream DiT(Dual Stream 前 16 层对齐模态 + Single Stream 后 40 层提效)在单一网络内统一 T2V/I2V/T2I,原生生成 720p 5–10 秒视频再经 Cascade Refiner 级联超分到 1080p(提速 40%)。配套 MLLM 视频质量模型的数据清洗流水线、REPA 表征对齐、mode 时间步采样、192p 运动预训练、视频 APG、模型平均等训练/推理配方,在 Artificial Analysis T2V/I2V 榜单双双第三,复杂运动场景显著领先。
无仿真训练连续归一化流(CNF)的新范式:通过回归条件概率路径的向量场,统一并超越扩散模型,并引入最优传输(OT)路径
Stability AI 的 SD3 论文:改进的 Rectified Flow 时间步采样 + 多模态 MM-DiT 架构,在高分辨率文生图上超越 DALL·E 3 等 SOTA
Meta 的 Movie Gen 媒体基础模型全家桶:30B 文生视频 + 13B 视频音频生成,Flow Matching + LLaMa3 风格 Transformer,支持 1080p HD 视频、同步音频、个性化与指令式视频编辑,多任务达到 SOTA。
PPFlow 用金字塔分块化(高噪声时间步用大 patch、低噪声时间步用小 patch)替换 DiT 固定 patch size,仅切换 Patchify/Unpatchify 线性投影而共享 DiT blocks,实现 1.6–2.0× 去噪加速且质量不降,从预训练模型适配仅需 +8.9% 训练 FLOPs。
轻量级原生统一多模态模型,通过双流MoE架构和多任务协同训练实现图像视频理解、生成与编辑