CloakLM: Obfuscating GPU Memory Layout to Mitigate Model Ex-filtration for Serving

HTML 版本不可用（arXiv 仅提供 PDF），本文分析基于摘要页与 PDF 派生理解。

一、论文概述

项目	内容
论文标题	CloakLM: Obfuscating GPU Memory Layout to Mitigate Model Ex-filtration for Serving
作者	Kunal Jain, Seokjin Go, Divya Mahajan
提交日期	2026-06-16
arXiv ID	2606.18400
学科分类	cs.OS（操作系统）; cs.CR（密码学与安全）

二、核心思想

问题定义：模型外泄威胁面

在第三方共享加速器基础设施上部署大型基础模型时，模型 provider 只能控制 VM 或 bare-metal 服务栈，但对周围硬件基础设施（host↔GPU 互联、加速器 fabric、邻近组件）没有控制权。已有攻击验证了实际威胁：

• Hermes：从被动 PCIe 观测中无损重建 DNN 结构与参数。
• TunnelS：通过驱动级访问以高吞吐外泄 HBM 内容，且不干扰推理。
• 同租户 VM 攻击：通过 memory-mapped 接口或错配 RDMA 区域，无需物理协同也能访问模型内存。

共同攻击面：ML 系统权重存储在大而连续、被重复访问的内存区域，PCIe 传输与 HBM dump 因此足以揭示模型结构与参数。

解决方案概述

提出 CloakLM ——纯软件的内存混淆框架，在不改变推理栈逻辑内存视图的前提下，消除内存的”结构规律性”。三大机制协同：

1. PCIe 流量整形（PCIe Traffic Shaping）
2. 层间与层内权重乱序（Inter- and Intra-layer Weight Shuffling）
3. 物理 HBM 页面重映射（Physical HBM Page Remapping）

授权执行看到合法的虚拟内存布局，开销可忽略；未授权观察者看到的是碎片化、语义不连贯的状态。

三、技术架构/方法

三大机制

1. PCIe 流量整形（Traffic Shaping）

消除权重加载与激活传输在 PCIe 上的可识别模式。核心思想：让 Hermes 那种基于流量图的重建攻击无法恢复模型结构。可能的技术手段包括：

• 权重传输拆分/重排，让通道大小不再暴露层维度。
• 注入伪流量，混淆真实访问模式。
• 打散连续传输，破坏”大而连续”的观测特征。

2. 层间/层内权重乱序（Weight Shuffling）

将模型权重在物理布局上重新洗牌，同时通过合法映射保证前向计算语义正确。

• 层间乱序：不同层的权重块交错存放，破坏”按层连续存储”的规律。
• 层内乱序：单层内 tensor 的行/列/块被打乱，未授权 dump 得到的矩阵在语义上不完整。

数学上可表示为一个置换 $\pi$：物理地址 $a_{\text{phys}} = \pi(a_{\text{logical}})$。授权执行通过持有 $\pi$（或等价的 gather 索引）恢复正确的语义顺序；未授权观察者只看到 $\pi$-混淆后的 bytes。

3. 物理 HBM 页面重映射（Page Remapping）

在 HBM 层将物理页与虚拟页的映射打散并动态迁移。这样即便攻击者获得 HBM 快照，也无法通过”连续物理页”重构层结构。

集成与互补

• 集成层：CloakLM 接入 vLLM 与 PyTorch，无需硬件改动。
• 与 confidential computing 互补：CC（如 CCA/CoCA、GPU CC）解决”信任边界”内的加密隔离，但对 PCIe 侧信道和 driver-level dump 仍有暴露面；CloakLM 从内存布局层面额外增加不确定性。

四、核心创新

创新点	描述	效果
纯软件模型外泄防御	无需硬件改造，即可部署到现有 vLLM/PyTorch 栈	与 CC 互补，落地门槛低
PCIe 流量整形	打散权重传输可识别模式	抵抗 Hermes 式被动 PCIe 观测
层间/层内权重乱序	权重物理布局与语义解耦	抵抗 TunnelS 式 HBM dump
物理 HBM 页面重映射	动态、非规则的物理映射	消除大而连续的内存区域特征
双视图内存模型	授权 = 合法虚拟布局，非授权 = 碎片化	攻击者获得的是无语义的 bytes

五、实验结果

实验设置

• 推理框架：vLLM + PyTorch 集成
• 模型：LLaMA 系列、Qwen 系列
• 场景：分布式推理工作负载

关键结果（摘要给出的定性结论）

• 性能：接近原生（near-native）的推理吞吐/延迟，混淆开销可忽略。
• 安全性：显著提高对以下攻击的抵抗力：
  • PCIe 被动窃听（Hermes 类）
  • HBM dump（TunnelS 类）
  • 使推理期模型外泄”实质上不再可行”（substantially less practical）。

六、总结

核心贡献

1. 系统化描述了共享加速器基础设施上的模型外泄威胁面（PCIe 观测、HBM dump、co-tenant 攻击）。
2. 提出纯软件、无需硬件改造的内存混淆框架 CloakLM，三机制协同：PCIe 流量整形 + 权重乱序 + HBM 页面重映射。
3. 引入”双视图内存”抽象：授权侧看到合法虚拟布局，未授权观察者看到碎片化状态。
4. 在 vLLM/PyTorch 上实现并验证：接近原生性能 + 显著提升攻击抵抗力。

技术影响

• 为多租户/公有云 LLM 推理服务提供软件层可部署的模型 IP 保护方案。
• 与硬件机密计算形成纵深防御。
• 让 Hermes、TunnelS 这类此前被证实的攻击”不再实用”，改变了模型 provider 的威胁模型。

局限性

• 需要覆盖所有权重访问路径，若未整形的 side-channel（如 timing、power）仍存在，可能构成新攻击面。
• 混淆映射 $\pi$ 本身也需被保护，其管理与轮换的复杂性未在摘要中详述。
• 只针对推理场景；训练阶段（如 checkpointing）的外泄防护未讨论。

七、参考资源

• arXiv: https://arxiv.org/abs/2606.18400
• 相关攻击工作：Hermes（PCIe 观测）、TunnelS（HBM dump via driver）
• 补充方向：Confidential Computing、GPU TEE、机密推理
• 说明：本文 HTML 版本不可用，图表未下载。分析基于摘要页与结构化推断。