CloakLM: Obfuscating GPU Memory Layout to Mitigate Model Ex-filtration for Serving
针对第三方共享加速器基础设施上的模型外泄威胁(如 Hermes 通过被动 PCIe 观测无损重建 DNN、TunnelS 通过驱动级访问以高吞吐外泄 HBM),提出软件层内存混淆框架 CloakLM。结合 PCIe 流量整形、层间/层内权重乱序与物理 HBM 页面重映射三种机制,让授权执行保持有效虚拟内存布局且开销可忽略,而未授权观察者看到的是碎片化、语义不连贯的状态。集成于 vLLM 与 PyTorch,与机密计算互补,在 LLaMA/Qwen 分布式推理上实现接近原生的性能同时大幅提高对 PCIe 窃听与 HBM dump 攻击的抵抗力。