DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

一、论文概述

项目	内容
标题	DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models
作者	You-Liang Huang, Xinhao Huang, Chengxi Liao, Zeyi Wen
论文	arXiv:2604.17709
会议	DAC 2026（已接收）
发布	2026年4月20日（v2: 2026年6月3日）

二、核心思想

问题定义

大语言模型（LLM）的分解（Decomposition）是一种将单一大模型拆分为多个小子模型的技术，主要用于：

• 知识蒸馏：将大模型知识转移到小模型
• 模块化部署：将模型拆分为可独立部署的组件
• 隐私保护：不同子模型可部署在不同设备上

然而，现有工作主要关注下游任务性能提升，忽略了分解后的并行推理效率问题：

• 分解后的子模型之间存在数据依赖
• 传统并行策略（张量并行、流水线并行）无法直接应用
• 子模型间的通信开销成为瓶颈
• 缺乏针对分解模型的专用推理系统

解决方案概述

本文提出 DeInfer，一个专为分解 LLM 设计的高性能并行推理系统：

1. 子任务感知分区器（Subtask-Aware Partitioner）：根据子模型的计算特性和数据依赖进行最优分区
2. 优化的流水线调度器（Optimized Pipeline Scheduler）：最小化流水线气泡，最大化 GPU 利用率
3. 通信优化（Communication Optimization）：减少子模型间的数据传输开销
4. 兼容性设计：与现有优化技术（如量化、KV 缓存）兼容

关键创新

创新点	说明	效果
子任务感知分区	根据计算特性和依赖关系分区	最优负载均衡
流水线调度优化	最小化气泡，最大化利用率	推理速度提升
通信优化	减少子模型间数据传输	降低通信开销
兼容性设计	支持量化、KV 缓存等	与现有技术无缝集成

三、技术架构

LLM 分解背景

LLM 分解将一个大模型 $M$ 拆分为 $k$ 个子模型：

$M = \{M_1, M_2, \dots, M_k\}$

每个子模型 $M_i$ 可以：

• 独立部署在不同设备上
• 使用不同的精度格式
• 并行执行不同的计算任务

DeInfer 系统架构

DeInfer 由三个核心组件组成：

1. 子任务感知分区器

• 分析子模型的计算图和数据依赖
• 根据 GPU 算力和内存进行最优分区
• 确保负载均衡和最小通信

2. 优化的流水线调度器

• 将子模型的计算组织为流水线阶段
• 动态调整批次大小以最大化吞吐量
• 使用微批次（micro-batch）技术减少气泡

3. 通信优化

• 使用 NCCL 进行高效的 GPU 间通信
• 重叠计算和通信以隐藏延迟
• 压缩中间激活以减少传输数据量

与现有技术的兼容性

DeInfer 设计为与以下技术兼容：

• 量化：INT8、FP8、NVFP4
• KV 缓存：PagedAttention、vLLM 风格缓存
• 批处理：连续批处理（continuous batching）
• 内核优化：FlashAttention、Triton 内核

四、实验结果

实验设置

• 模型：LLaMA 系列（7B、13B、70B）
• 硬件：多 GPU 服务器（NVIDIA A100/H100）
• 基准：与标准张量并行（TP）和流水线并行（PP）对比
• 指标：吞吐量（tokens/s）、延迟（ms）、GPU 利用率

主要结果

DeInfer 在分解 LLM 推理上展示了显著优势：

• 吞吐量提升：相比标准并行策略，推理吞吐量大幅提升
• 延迟降低：首 token 延迟和每 token 延迟均有改善
• GPU 利用率：通过优化调度，GPU 利用率显著提高
• 可扩展性：在多 GPU 设置下保持良好的扩展性

消融实验

论文通过消融实验验证了各组件的贡献：

• 子任务感知分区器的贡献
• 流水线调度优化的效果
• 通信优化的影响

五、与现有方法对比

方法	类型	适用场景	优势	局限
张量并行 (TP)	标准并行	单模型多 GPU	简单直接	无法处理分解模型
流水线并行 (PP)	标准并行	大模型多 GPU	内存效率高	气泡开销大
序列并行 (SP)	标准并行	长序列	减少激活内存	通信开销大
DeInfer	专用系统	分解 LLM	针对优化	需要分解模型

独特优势：

• 首个专为分解 LLM 设计的推理系统
• 与现有优化技术兼容
• 自动化的分区和调度
• 显著的性能提升

六、实现细节

配置	值
目标模型	LLaMA 系列（7B、13B、70B）
硬件	NVIDIA A100/H100 多 GPU
通信框架	NCCL
兼容技术	量化、KV 缓存、FlashAttention
优化级别	分区 + 调度 + 通信

七、应用场景

DeInfer 特别适用于以下场景：

1. 知识蒸馏：教师模型分解后并行推理生成训练数据
2. 模块化部署：不同子模型部署在不同地理位置
3. 隐私保护：敏感数据处理的子模型可部署在安全环境
4. 异构硬件：不同子模型可部署在不同规格的 GPU 上
5. 模型服务：分解后的模型可独立更新和扩展

八、相关工作

方向	代表工作	与 DeInfer 的关系
LLM 分解	MoE、模块化分解	DeInfer 的目标场景
张量并行	Megatron-LM、DeepSpeed	标准并行基线
流水线并行	PipeDream、GPipe	标准并行基线
推理系统	vLLM、TensorRT-LLM	通用推理系统
分布式推理	Ray、Orbit	分布式框架

九、总结

核心贡献

1. 首个分解 LLM 专用推理系统：填补了分解模型并行推理的空白
2. 子任务感知分区：根据计算特性和依赖关系进行最优分区
3. 优化的流水线调度：最小化气泡，最大化 GPU 利用率
4. 通信优化：减少子模型间数据传输开销
5. 兼容性设计：与量化、KV 缓存等现有技术无缝集成

技术影响

• 为 LLM 分解技术提供了实用的推理系统支持
• 使分解模型在实际部署中具有可行性
• 为模块化 LLM 部署开辟了新方向
• 被 DAC 2026 接收，表明学术界认可

局限性

• 需要分解后的模型，增加了部署前的准备成本
• 性能提升依赖于分解策略的质量
• 论文篇幅较短（8页），细节可能不够充分
• 代码未公开

十、参考资源

• 论文: arXiv:2604.17709
• 会议: DAC 2026
• 关键引用:
  • Megatron-LM — 张量并行基线
  • vLLM — 通用推理系统
  • LLaMA — 目标模型架构
  • NCCL — 通信框架

---

分析日期: 2026-06-05