Efficient Diffusion Models: A Survey

一、论文概述

项目	内容
标题	Efficient Diffusion Models: A Survey
作者	Hui Shen, Jingxuan Zhang, Boning Xiong, Rui Hu, Shoufa Chen, Zhongwei Wan, Xin Wang, Yu Zhang, Zixuan Gong, Guangyin Bao, Chaofan Tao, Yongfeng Huang, Ye Yuan, Mi Zhang
机构	OSU, Indiana University, Fudan University, HKU, Tongji University, CUHK, PKU
论文	arXiv:2502.06805
代码	GitHub
发布	2025年2月3日
许可	arXiv 非独占分发许可

二、核心思想

综述目标

扩散模型在图像、视频、音频等生成任务中表现出色，但其多步去噪过程需要大量计算资源和生成时间。本综述从三个视角系统梳理高效扩散模型研究：

分类体系

Efficient Diffusion Models
├── Algorithm-Level (§3)
│   ├── Efficient Training (§3.1)
│   │   ├── Latent Space (潜空间)
│   │   ├── Loss Formulation (损失函数)
│   │   │   ├── Score Matching
│   │   │   └── Rectified Flow
│   │   └── Training Tricks (训练技巧)
│   │       ├── Data-Dependent Adaptive Priors
│   │       ├── Extra Loss Supervision
│   │       └── Noise Schedule
│   ├── Efficient Fine-Tuning (§3.2)
│   │   ├── LoRA
│   │   ├── Adapter
│   │   └── ControlNet
│   ├── Efficient Sampling (§3.3)
│   │   ├── Efficient Solver (SDE/ODE)
│   │   ├── Sampling Scheduling
│   │   │   ├── Parallel Sampling
│   │   │   └── Timestep Schedule
│   │   ├── Truncated Sampling
│   │   │   ├── Early Exit
│   │   │   └── Retrieval-Based Diffusion
│   │   └── Knowledge Distillation
│   │       ├── Vector Field Distillation
│   │       └── Generator Distillation
│   └── Compression (§3.4)
│       ├── Quantization (PTQ/QAT)
│       └── Pruning
├── System-Level (§4)
│   ├── Hardware-Software Co-Design
│   ├── Parallel Computing
│   └── Caching Technique
└── Frameworks (§5)

三、技术架构

整体分类图

Figure 1: 高效扩散模型文献分类体系。

核心公式

DDPM 前向过程

$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I)$

DDPM 反向过程

$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))$

Score Matching

$\nabla_{x_t} \log q(x_t) \approx s_\theta(x_t, t)$

Flow Matching

$\frac{dx}{dt} = v_\theta(x, t), \quad x_0 \sim \mathcal{N}(0, I), \quad x_1 \sim p_{data}$

前向/反向 SDE 过程

Figure 2: 前向 SDE 过程和反向 SDE 过程概览。

四、算法级效率优化

4.1 高效训练

Figure 3: 扩散模型高效训练技术总结。

潜空间方法

方法	说明	优势
LDM (Stable Diffusion)	在潜空间而非像素空间训练	计算量减少 4-8×
Video LDM	视频潜空间扩散	时空一致性

损失函数优化

Figure 4: Rectified Flow 示意图。

方法	说明	优势
Score Matching	估计数据分布的梯度	避免计算归一化常数
Rectified Flow	直线路径连接噪声和数据	减少采样步数
Consistency Models	单步生成	极大加速推理

训练技巧

Figure 5: 不同模态的数据依赖自适应先验。

技巧	说明
Data-Dependent Adaptive Priors	根据数据特性调整扩散先验
Extra Loss Supervision	添加辅助损失加速收敛
Noise Schedule	优化噪声调度策略

噪声调度优化

Figure 7: 两类噪声调度策略。

4.2 高效微调

Figure 8: 扩散模型高效微调技术总结。

LoRA

Figure 9: LoRA 重参数化方法，仅训练参数 A 和 B。

方法	参数量	说明
LoRA	~0.1%	低秩分解
LoRA-FA	更少	冻结 A 矩阵
LCM-LoRA	~0.1%	一致性模型 LoRA

Adapter

Figure 11: Adapter 模块架构。

方法	说明
T2I-Adapter	细粒度控制
IP-Adapter	图像提示适配

ControlNet

Figure 13: ControlNet 架构。

方法	说明
ControlNet	条件控制网络
ControlNet++	改进版本

4.3 高效采样

Figure 14: 扩散模型高效采样技术总结。

高效求解器

求解器	类型	采样步数
DDIM	ODE	10-50
DPM-Solver	ODE	10-20
DPM-Solver++	ODE	10-20
UniPC	ODE	5-10

采样调度

Figure 15: 时间步调度优化过程。

方法	说明
Timestep Schedule	优化采样时间步选择
Parallel Sampling	并行采样加速

截断采样

Figure 17: 时间依赖的退出调度，采样过程中跳过更多 block。

方法	说明
Early Exit	动态跳过部分层
Retrieval-Based	检索辅助生成

知识蒸馏

Figure 19: 知识蒸馏示意图。

Figure 20: 渐进蒸馏，将采样器压缩为更少步骤。

方法	说明	加速
Progressive Distillation	步数减半迭代蒸馏	2-4×
Guided Distillation	CFG 蒸馏	2×
Score Distillation	分数蒸馏	-
Consistency Distillation	一致性蒸馏	单步生成

4.4 模型压缩

Figure 22: 扩散模型压缩技术总结。

量化

Figure 23: PTQ 场景和 Q-Diffusion 的区别。

方法	类型	说明
Q-Diffusion	PTQ	后训练量化
PTQ4DM	PTQ	扩散模型专用 PTQ
QAT	QAT	量化感知训练

剪枝

Figure 24: 剪枝评估算子重要性。

方法	说明
Structured Pruning	结构化剪枝
Unstructured Pruning	非结构化剪枝
PD-Pruner	扩散模型专用剪枝

五、系统级效率优化

Figure 25: 系统级效率优化技术总结。

5.1 软硬件协同设计

方法	说明
HybridSA	混合稀疏注意力架构
FlashAttention	高效注意力实现
TensorRT	推理优化

5.2 并行计算

Figure 27: 扩散模型并行计算示意图。

策略	说明
Data Parallelism	数据并行
Model Parallelism	模型并行
Pipeline Parallelism	流水线并行
DistriFusion	分布式并行推理

5.3 缓存技术

方法	说明
DeepCache	UNet 特征缓存
TeaCache	时间步嵌入感知缓存
PAB	金字塔注意力广播
FasterCache	CFG 冗余优化

六、框架

框架	特点	支持模型
Diffusers	HuggingFace 官方	SD, FLUX, DiT
xDiT	DiT 推理优化	DiT, FLUX, HunyuanVideo
Onediff	一键优化	多种扩散模型
FastDiff	快速推理	DDPM, DDIM
ColossalAI	大规模训练	Stable Diffusion

七、应用场景

应用	代表模型	说明
图像生成	SD, DALL-E, Midjourney	文本到图像
视频生成	Sora, CogVideo, Wan	文本到视频
文本生成	Diffusion-LM	离散扩散
音频生成	DiffWave, WaveGrad	语音合成
3D 生成	DreamFusion, Magic3D	3D 内容创建

八、相关工作

相关综述	与本文关系
Diffusion Models: A Comprehensive Survey	通用扩散模型综述
A Survey on Generative Diffusion Models	生成扩散模型综述
Efficient Diffusion Training	训练效率专题
本文	首个全面覆盖高效扩散模型的综述

九、总结

核心贡献

1. 系统分类: 从算法级、系统级和框架三个视角系统梳理高效扩散模型
2. 全面覆盖: 涵盖训练、微调、采样、压缩、系统优化等各个方面
3. 最新进展: 包含 2024-2025 年最新研究成果
4. 开源资源: GitHub 仓库持续维护论文列表

未来方向

方向	说明
长视频生成效率	更长视频的高效生成
多模态统一效率	跨模态统一高效架构
边缘部署	移动端/边缘设备部署
训练-推理协同	训练和推理效率联合优化

局限性

• 综述性质，无新方法提出
• 部分最新工作可能未覆盖
• 缺乏统一的基准测试对比

十、参考资源

• 论文: arXiv:2502.06805
• 代码: GitHub
• 许可: arXiv 非独占分发许可
• 页数: 约 30 页

十一、关键图片索引

图片	说明	文件名
Figure 1	分类体系	x1.png
Figure 2	前向/反向 SDE 过程	x2.png
Figure 3	高效训练技术总结	x3.png
Figure 4	Rectified Flow	x4.png
Figure 5	自适应先验	x5.png
Figure 6	Leapfrog 扩散模型	x6.png
Figure 7	噪声调度策略	x7.png
Figure 8	高效微调技术总结	x8.png
Figure 9	LoRA 重参数化	x6.png
Figure 10	LCM-LoRA	x7.png
Figure 11	Adapter 架构	x8.png
Figure 12	IP-Adapter	x9.png
Figure 13	ControlNet	x10.png
Figure 14	高效采样技术总结	x11.png
Figure 15	时间步调度优化	x11.png
Figure 16	KLUB 采样调度	x12.png
Figure 17	Early Exit	x13.png
Figure 18	检索扩散模型	x14.png
Figure 19	知识蒸馏	x15.png
Figure 20	渐进蒸馏	x16.png
Figure 21	Score Distillation	x17.png
Figure 22	压缩技术总结	x18.png
Figure 23	Q-Diffusion 量化	x18.png
Figure 24	剪枝	x19.png
Figure 25	系统级技术总结	x20.png
Figure 26	HybridSA	x20.png
Figure 27	并行计算	x21.png
Figure 28	分布式推理架构	x22.png