SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

一、论文概述

项目	内容
标题	SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD
作者	Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, Jian Meng, Zhengxuan Lu, Yiting Wang, Yucheng Xie, Tao Guo, Tianxiang Fang, Jing Li, Sihang Chen, Shihao Hong, Chang Liu, Weihua Dai, Zirong Zeng, Ziwei Zhu, Zhuohan Wang, Zhengjun Yue, Igor Vasilyev, Min Liu, Weijian Sun, Xin Chen 等 100+ 人
机构	上海交通大学 AI Lab (SLAI), 华为昇腾, 等
论文	arXiv:2607.20145
代码	无公开仓库（搜索未找到 GitHub repo）
发布	2026-07-16

核心贡献：

1. 首次在非 GPU 计算平台（华为昇腾 NPU SuperPOD）上实现万亿参数 MoE LLM 的全参数后训练，将 MFU 从 11.67% 提升至 34.22%，提升 2.93 倍
2. 提出 AuraKernel——基于运筹学（OR）引导的 AscendC 内核优化智能体系统，通过硬件感知的周期级性能建模、K-Search 树搜索和可蒸馏技能库，优化复杂 AscendC 内核
3. 设计 Ascend NPU 感知的内核融合与重写框架，将 eager autograd 链和 Triton 内核重组为 UB-resident 的 AscendC 内核，消除冗余全局内存访问
4. 建立面向运筹学的 CPT-SFT 两阶段后训练工作流：OR-CPT 数据引擎（求解器验证的双向合成）、自蒸馏 SFT 数据飞轮、合同感知清洗与 CoT 增强
5. 最终模型在 4 个 OR 基准测试上平均得分 71.81%，超越 GPT-5.4-Mini 3.98 分，超越 base DeepSeek-V4-Flash 11.27 分，同时保持通用能力不降级

二、核心思想

问题定义

对 DeepSeek-V4-Pro（1.6T 参数 MoE 模型）在 Ascend 910C NPU SuperPOD 上进行全参数后训练面临两大挑战：

1. 训练效率瓶颈：原始栈上 MFU 仅 11.67%，存在严重的通信延迟、内核低效和算子碎片化问题
2. 领域适配缺失：基础模型在运筹学建模任务上表现有限，需要专门的 CPT-SFT 工作流

解决方案概述

SLAI T-Rex 采用双层优化策略：

系统层优化（Section 2）：

• 识别三大瓶颈类别：架构固有内核（heavy head）、启动碎片化尾部（launch-fragmented tail）、内存绑定向量操作（memory-bound vector ops）
• AuraKernel 通过 OR 引导的平铺优化 + 硬件反馈迭代循环优化重型内核
• 内核融合与重写将 eager 链和 Triton 内核重组为 AscendC 硬件亲和内核

后训练工作流（Section 3）：

• OR-CPT：求解器验证的双向合成数据引擎，构建领域主导混合语料
• SFT：自蒸馏数据飞轮 + 合同感知清洗 + 渐进式训练 + 通用能力锚定
• AI 辅助数据构建：Cleaner/Reviewer/Resolver 多阶段质量门控

三、技术架构

整体框架

SLAI T-Rex 由两个主要部分组成：

组件	功能	关键技术
Ascend SuperPOD 训练栈 (§2)	提升设备效率和训练稳定性	ETP + VPP + Double-buffered Swap Optimizer
AuraKernel (§2.3.2)	复杂 AscendC 内核的智能体优化	OR 平铺优化 + K-Search + 技能蒸馏
内核融合与重写 (§2.3.3)	消除碎片化长尾	eager 链融合 + Triton→AscendC 重写
OR-CPT (§3.2)	领域知识注入	求解器验证双向合成 + 领域主导混合
SFT (§3.3)	行为对齐	自蒸馏飞轮 + 合同感知清洗 + 渐进式训练

System-Level Training Infrastructure (§2)

硬件架构

配置项	值
GPU/NPU	NVIDIA H100 vs Ascend 910C
每 NPU 内存	64GB HBM
集群	8 节点 × 8 NPU = 64 NPU (SFT); SuperPOD 规模更大
互联	HBM: 576 GB/s (H100) vs 略低 (910C); 节点间: HCCL 集合通信
SIMD vs SIMT	Ascend 采用 SIMD 架构，不同于 CUDA 的 SIMT

关键发现

ETP（Expert-Tensor Parallelism）with Parallel Folding：

• DeepSeek-V4 的 MoE 结构采用 ETP 而非传统 TP
• Parallel folding 减少专家间的通信开销

Virtual Pipeline Parallelism (VPP)：

• 替代 DualPipeV，减少 pipeline bubble
• Vector-pipeline counters 管理内存绑定操作的长尾

Communication Latency Breakdown (Table 1)：

并行类型	延迟 (s)	占比
TP+DP	19.71	48.4%
PP	14.95	36.7%
EP	5.91	14.5%

Bottleneck Analysis (§2.1)

Step Decomposition

单步训练时间模型：

$T_{\text{step}} = T_{\text{comp}} + T_{\text{comm}}^{\text{non-overlapped}} + T_{\text{bubble}} + T_{\text{idle}}$

三大瓶颈类别

1. Architecture-intrinsic heavy head：SparseAttnSharedkvGrad (16.86%)、MatMulV3 (12.77%)、GroupedMatmul (9.50%)
2. Launch-fragmented eager tail：大量小算子导致启动碎片化
3. Memory-bound vector tail：向量计算远低于 MTE2 加载和 MTE3 存储比率，内存移动约为向量计算的 7.4 倍

AuraKernel: OR-Guided Kernel Optimization Agent (§2.3.2)

核心挑战

1. Host-kernel 解耦设计：AscendC 算子包包含主机端调度逻辑和设备端内核实现，需要跨层次推理
2. 分层智能体记忆：复杂内核涉及长程代码依赖、多阶段数据移动、stream 级协调和流水线调度

三阶段优化流程

1. OR-based tiling optimization：将算子调优表述为约束性能建模问题
2. Hardware-grounded iterative optimization：modify-verify-profile 闭环，K-Search 树搜索
3. Skill distillation：将已验证的增益转化为可复用技能

关键公式

周期级性能建模（Eq. 1）：

$\min_{\mathbf{p} \in \mathcal{P}(s)} \max \left\{T_{\text{MTE1}}(\mathbf{p}), T_{\text{MTE2}}(\mathbf{p}), T_{\text{MAC}}(\mathbf{p}), T_{\text{FixPipe}}(\mathbf{p}), T_{\text{scalar}}(\mathbf{p})\right\}$

可行解集（Eq. 2）：

$\mathcal{F} = \{k \in \mathcal{K} \mid C(k) = 1\}$

最佳候选选择（Eq. 4）：

$k^\star \in \arg\min_{k_i \in \mathcal{F}} T(k_i)$

K-Search 采集函数（Eq. 7）：

$\ell^\star = \arg\max_{\ell \in L(\mathcal{T})} \left[c_\ell \hat{g}_\ell + \kappa\sqrt{\frac{\ln(1+N)}{1+n_\ell}} - \gamma d_\ell\right]$

技能表示（Eq. 10）：

$\boldsymbol{\sigma} = (\mathbf{m}_{\text{before}}, \Delta\mathbf{m}, \pi), \quad \Delta\mathbf{m} = \mathbf{m}_{\text{after}} - \mathbf{m}_{\text{before}}$

Ascend NPU-aware Kernel Fusion and Rewrite (§2.3.3)

三大融合目标

1. mHC fusion suite（Manifold-Constrained Hyper-Connections）：

   • WindMhcPostPart: 后投影加权扩展
   • wind_rms_norm_without_weight: 无权重 RMS 归一化
   • WindHcPreBmmForward/Backward: 前/后向加权扩展收缩

2. Limited SwiGLU backward：

   • 预 SiLU 夹紧的门控乘积
   • 融合路由梯度约减

3. Unified RoPE：

   • 统一查询/键值/输出旋转位置编码
   • 余弦/正弦缓存

关键融合结果（Table 8）

优化目标	融合算子	模块时间 (before → after)	加速比
mHC pre-projection	WindHcPreBmmForward	1.287 → 0.425 s	3.03×
mHC pre-projection backward	WindHcPreBmmBackward	1.913 → 1.019 s	1.88×
mHC post-projection	WindMhcPostPart	1.710 → 0.624 s	2.74×
Limited SwiGLU forward	SwiGluLimitV2	1.480 → 0.167 s	8.86×
Limited SwiGLU backward	SwiGluLimitBackwardV2	0.805 → 0.246 s	3.27×
RoPE forward	WindScaleRope	1.421 → 0.611 s	2.33×
RoPE backward	WindScaleRopeGrad	1.599 → 0.451 s	3.54×

OR-Oriented Post-Training Workflow (§3)

CPT-SFT 两阶段设计

为什么需要 CPT + SFT？

• CPT（Continued Pre-Training）：知识获取——OR 术语、标准公式模式、求解器感知非线性推理、分数和效率建模
• SFT（Supervised Fine-Tuning）：行为对齐——代码-only 契约、Gurobi API 使用、输出格式规范

OR-CPT Data Engine (§3.2.1)

求解器验证的双向合成工作流：

1. 参数化优化实例生成器：覆盖分配、调度、设施选址、网络流、生产计划等 11 个任务族
2. Gurobi 独立验证：参考求解状态、目标值、变量赋值
3. 反向翻译：结构化实例 → 面向业务的自然语言问题
4. 正向建模：自然语言问题 → 可执行 Gurobi 代码
5. 合同检查：变量族、约束族、目标值匹配

admission condition（Eq. 18）：

$\operatorname{Accept}(s) = \mathbb{I}[Q_{\text{seed}} \wedge Q_{\text{NL}} \wedge Q_{\text{contract}} \wedge Q_{\text{exec}} \wedge Q_{\text{obj}}]$

SFT Self-Distillation Flywheel (§3.3.2)

三种问题模式（Table 6）：

模式	名称	描述
DP	Data in Problem	数据直接写在问题陈述中
DT	Data in Table	数据以结构化表格提供
DPS	Data-Problem Separate	问题陈述和数据文件分离

三层中间表示：

• L1 Canonical IR：标准化异构样本
• L2 Semantic IR：提取数学规划语义
• L3 Synthetic IR：生成新建模任务抽象，防止数据泄露

AI-Assisted Data Construction (§3.4)

多阶段质量门控：

• Cleaner：生成修复候选
• Reviewer：独立评估，防止过度修复
• Diagnostic Resolver：当局部验证失败时产生结构化诊断

最终导出的 8,881 个样本是三个独立质量检查的交集。

四、核心创新

创新点	说明	理论/实验依据
MFU 从 11.67% 提升至 34.22%	首次在非 GPU 平台上实现万亿 MoE 模型的高效全参数训练	§2: 2.93× MFU 提升
AuraKernel OR-guided agent	将算子调优表述为约束周期级性能建模问题，求解器输出即瓶颈诊断	Eq. (1): max{MTE1, MTE2, MAC, FixPipe, scalar}
K-Search 树搜索	分支化、可回滚的优化方向探索，置信度上界采集函数	Eq. (7): c_l g_l + kappasqrt(ln(N)/n_l) - gammad_l
技能蒸馏与持续改进	成功变换编码为 (m_before, delta_m, pi) 三元组，检索引导后续假设	Eq. (10)-(11): 余弦相似度温度控制 softmax
AscendC 融合重写	恢复高层运算语义，消除前端发出的 dtype 转换和 scatter 写入	Table 8: 7 个目标累计大幅加速
OR-CPT 双向合成	求解器验证的反向翻译+正向建模，admission condition 五重检查	Eq. (18): 五重质量门控
自蒸馏 SFT 飞轮	三层 IR + 泄露控制 + 接受池反馈循环	Section 3.3.2-3.3.4
渐进式 SFT + 通用能力锚定	Stage I (Solver-API) + Stage II (Full Modeling) 解耦 + 10-15% 通用数据	Section 3.3.4

五、实验结果

实验设置

配置项	值
NPU	Ascend 910C (64GB HBM), 8 节点 × 8 = 64 NPU
Model	DeepSeek-V4-Pro (1.6T params, MoE), DeepSeek-V4-Flash
CPT Seq Len	65,536 tokens
SFT Seq Len	8,192 tokens
Batch Size	GBS=128, MBS=1
Parallelism	TP=1, PP=4, CP=16 (CPT), EP=32
Optimizer	AdamW, Cosine decay LR

AuraKernel Performance (Section 4.1)

代表性算子加速（Table 7）：

算子	上下文	基线 (ms)	优化后 (ms)	加速比
SparseAttnSharedkv (Fwd)	cmp ratio 128	0.88	0.72	1.23×
SparseAttnSharedkvGrad (Bwd)	cmp ratio 128	32.9	26.5	1.24×
SparseLightningIndexerGradKL	cmp ratio 0 (CFA)	20.7	17.9	1.16×
RMSNormWithoutWeightFwd	operator, tp=2	20.9	1.76	11.90×
RMSNormWithoutWeightBwd	operator, tp=2	27.7	8.09	3.42×

关键发现：

• Sparse attention 后向加速 1.24×，来自 MTE2/MTE3 内存移动管道而非向量计算提升
• RMS 归一化前向从 scalar/address-bound 转变为 vector-compute-dominated（27.8% → 67.5%）
• 14 个 Triton-Ascend 算子平均加速 2.06×，最佳 11.90×

Kernel Fusion Results (Section 4.2)

模块级加速（Table 8）：

目标	融合算子	记录数变化	模块时间加速
mHC pre-projection	WindHcPreBmmForward	14336 → 8064 (-6272)	3.03×
mHC pre-projection bwd	WindHcPreBmmBackward	21504 → 17920 (-3584)	1.88×
mHC post-projection	WindMhcPostPart	7168 → 3584 (-3584)	2.74×
Limited SwiGLU fwd	SwiGluLimitV2	5376 → 896 (-4480)	8.86×
Limited SwiGLU bwd	SwiGluLimitBackwardV2	5824 → 448 (-5376)	3.27×
RoPE forward	WindScaleRope	14208 → 2176 (-12032)	2.33×
RoPE backward	WindScaleRopeGrad	15744 → 2176 (-13568)	3.54×

Triton→AscendC 重写（Table 9）：

内核	Triton (μs)	AscendC (μs)	加速比	Vec ratio 变化
RMS-norm forward	2307	309	7.48×	0.30 → 0.32
RMS-norm backward	3318	439	7.55×	0.28 → 0.36
Pre-BMM forward	160	76	2.10×	0.17 → 0.86
Pre-BMM backward	510	270	1.89×	0.14 → 0.47

Training Stability (Section 4.3)

• 800 步 SFT 训练，GBS=128, SEQ_LEN=8192
• 零 NaN 迭代，零跳过迭代
• 最终 lm loss ≈ 0.079, mtp_1 loss ≈ 0.093
• 验证了 8 节点 910C 环境的全参数 SFT 工作流可复现且可持续

SFT Scaling and Cleaning (Section 4.4)

数据规模实验（Table 10）：

模型	NL4OPT	OptiBench	B4O-Feasible	B4O-ORGEval
Base	84.08	63.33	60.47	34.26
SFT-3K	80.62	60.66	64.51	43.65
SFT-10K	81.66	62.67	65.07	47.21
SFT-50K	82.01	58.68↓	64.97	45.94

关键发现：50K 在 OptiBench 上反而退化至 58.68，证明单纯扩大数据量不可靠。

清洗与 CoT 增强效果（Table 11）：

模型	NL4OPT	OptiBench	B4O-Feasible	B4O-ORGEval
Base	84.08	63.33	60.47	34.26
SFT-10K	81.66	62.67	65.07	47.21
Clean-only	84.23	63.08	64.31	48.28
Clean-CoT	86.93	64.17	65.93	48.73

Clean-CoT 相比 Base 在全部四个基准上均有提升，NL4OPT 从 81.66 反弹至 86.93。

CPT→SFT 迁移增益（Table 12）：

模型	NL4OPT	OptiBench	B4O-Feasible	B4O-ORGEval
SFT-Clean-CoT	86.93	64.17	65.93	48.73
CPT+SFT-Clean-CoT	89.52 (+2.59)	67.12 (+2.95)	71.22 (+5.29)	59.39 (+10.66)

CPT 在 B4O-ORGEval 上的增益最大 (+10.66 pp)，表明 CPT 提供了 SFT 单独无法激活的结构等价性能力。

End-to-End Comparison (Section 4.6)

通用基准（Table 14）：

类别	基准	SLAI T-Rex	Base	变化
世界知识	MMLU	88.5	87.6	+0.9
世界知识	MMLU-Pro	69.2	71.0	-1.8
世界知识	CMMLU	92.4	92.1	+0.3
代码	HumanEval	68.8	69.4	-0.6
数学	GSM8K	90.3	89.8	+0.5
数学	MATH	56.7	58.4	-1.7

通用能力基本持平，无灾难性遗忘。

OR 基准对比（Table 15）：

模型	NL4OPT	OptiBench	B4O-Feasible	B4O-ORGEval	Overall
GPT-5.4-Mini	87.89	66.17	73.84	43.40	67.83
Gemini-3-Flash	79.93	68.83	71.80	46.70	66.82
Kimi-K2.6	78.89	59.83	72.67	46.95	64.59
SLAI T-Rex (Ours)	89.52	67.12	71.22	59.39	71.81

SLAI T-Rex 以 71.81 平均分超越所有对比模型，其中 B4O-ORGEval（结构等价性）59.39 领先优势最明显。

数据混合消融（Figure 21）：Pure OR 导致通用基准下降 10-15 分，而 Balanced（OR + 通用）在两个领域均表现良好。

错误案例分析（Appendix F）

论文提供了详细的原始 checkpoint 错误案例：

1. LP 图结构不匹配（BENCH40PT_0）：可执行 LP 但约束族与参考不一致
2. 协议/API 违规（BENCH40PT_4）：code-only 任务中添加了 markdown 代码围栏
3. 离散变量语义错误（NL40PT_15）：将工人数量建模为连续变量而非整数
4. 损耗守恒约束错误（BENCH40PT_2）：蒸发损耗同时混入成本和流量守恒
5. 比率/单位耦合错误（OPTIBENCH_6）：投资回报的单位处理不正确
6. 非线性reformulation失败（OPTIBENCH_13）：直接将四次方目标传入 Gurobi

六、代码实现分析

本文未公开代码仓库。但文中描述了关键的 AscendC 内核实现：

mHC Fusion Suite（Table 3）

内核	替换链	数学契约	硬件边界
WindMhcPostPart	Cast + post-BMM1 + Add + Cast	$y_{\text{post}}[t,n,d] = x[t,d]h_{\text{post}}[t,n] + b_2[t,n,d]$	T-D 平铺，UB-resident
wind_rms_norm_without_weight	Pows + ReduceMean + Add + Rsqrt	$r[t] = \text{rsqrt}(\frac{1}{D}\sum_d x[t,d]^2 + \epsilon)$	行约减，FP32 输出
WindHcPreBmmForward	pre-BMM forward casts + weighted-expansion	$y[t,d] = \sum_{n=0}^{N-1} h_{\text{pre}}[t,n]x[t,n,d]$	FP32 h_pre / BF16 x

SwiGLU Backward 公式（Eq. 12-13）

$\nabla_a = \ell \cdot b_c \cdot (\sigma + a_c \sigma(1-\sigma)) \cdot \mathbf{1}[a \leq \text{limit}]$

$\nabla_b = \ell \cdot a_c \sigma \cdot \mathbf{1}[-\text{limit} \leq b \leq \text{limit}]$

训练配置（Appendix B, Tables 16-17）

CPT 配置：

• Sequence length: 65,536
• Global batch size: 128
• Peak LR: $1.0 \times 10^{-6}$, cosine decay
• Context parallel: 16, Expert parallel: 32
• Activation checkpointing: Full, Swap optimizer

SFT 配置：

• Sequence length: 8,192
• Global batch size: 128
• Peak LR: $5.0 \times 10^{-6}$, cosine decay
• Pipeline parallel: 4, Expert parallel: 32
• Ulysses CP, Sequence parallel enabled

七、总结

核心贡献

1. 系统级优化：在 Ascend 910C SuperPOD 上将 DeepSeek-V4-Pro 的 MFU 从 11.67% 提升至 34.22%，打破非 GPU 平台万亿参数 MoE 训练的效率记录
2. AuraKernel：首个针对 AscendC 内核的 OR-guided 智能体优化系统，通过周期级性能建模 + K-Search 树搜索 + 技能蒸馏实现 1.24× sparse attention 和 11.90× RMS norm 加速
3. 内核融合与重写：将 eager autograd 链和 Triton 内核重组为 AscendC 硬件亲和内核，消除冗余全局内存访问，SwiGLU forward 加速达 8.86×
4. OR-CPT-SFT 工作流：求解器验证双向合成数据引擎 + 自蒸馏飞轮 + 合同感知清洗 + 渐进式训练，形成完整的领域适配 pipeline
5. 领域专用模型：SLAI T-Rex 在 OR 基准上平均 71.81 分，超越 GPT-5.4-Mini 3.98 分，同时保持通用能力不降级

局限性

1. 仅在 Ascend 910C 上评估：未在其他 NPU 或 GPU 上验证可移植性
2. 仅 DeepSeek-V4-Flash 验证 SFT：CPT-SFT 工作流主要在 Flash 变体上验证，Pro 版本的后训练尚未展开
3. OR 领域单一：虽然通用能力保持良好，但专门面向 OR 领域，未探索其他垂直领域
4. 数据规模有限：最终 SFT 使用 8,881 个清洗后样本，相比大规模指令数据集规模较小
5. Agentic RL 未实现：未来方向提及 AgenticRL，但本文未包含

未来方向

1. 将同一训练 pipeline 扩展到 DeepSeek-V4-Pro 并公布结果
2. 探索基于 OR 的数学建模优化并行配置（内存、通信、编排约束下的多维并行配置自动化探索）
3. 扩展 CPT 至更广泛的求解器验证语料
4. 加强非线性表达式、比率约束、二次项和 Gurobi 特定建模模式的结构性验证
5. 释放优化的 AscendC 内核实现

八、参考资源

• 论文: arXiv:2607.20145
• DeepSeek-V4: arXiv:2606.19348
• MindSpeed-LLM: github.com/Ascend/MindSpeed-LLM
• Gurobi Modeling Examples: github.com/Gurobi/modeling-examples
• K-Search: Cao et al. “K-search: LLM kernel generation via co-evolving intrinsic world model” arXiv:2602.19128
• mHC: Xie et al. “mHC: Manifold-constrained hyper-connections” arXiv:2512.24880
• OptMATH: Lu et al. “OptMATH: A scalable bidirectional data synthesis framework for optimization modeling”

附图索引

编号	文件名	说明
Figure 6	fd518b92...	Bottleneck anatomy: (a) heavy head by core-busy; (b) launch-fragmentation; (c) vector-pipeline ratios; (d) diagnosis-to-optimization map
Figure 7	d804645c...	AuraKernel architecture: OR-based tiling → hardware-grounded iterative optimization → skill distillation
Figure 8	870030c6...	Operator-chain fusion atlas: mHC weighted expansion, mixed-precision dataflow, SwiGLU backward, unified RoPE
Figure 9	b3337973...	mHC weighted-expansion fusion: (a) weighted expansion BMM; (b) 2D tiling and pipeline; (c) mixed-precision dataflow
Figure 10	ad36e5a6...	Limited-SwiGLU backward chain collapsing into fused kernel
Figure 11	0b09b608...	Unified RoPE: (a) whole-row output vs slice assignment; (b) real-arithmetic complex rotation; (c) cached preparation chain
Figure 12	e366da80...	Stacked error-family counts under Pass@1, 5-shot, and Pass@16
Figure 13	7e885f86...	OR-CPT data construction pipeline: parameterized generators → solver verification → business problems → forward modeling
Figure 14	5da736fe...	SFT data distillation framework overview
Figure 15	ff14c3be...	AI-Assisted Quality Gates workflow
Figure 16	c0537207...	AuraKernel optimization of shared-KV sparse-attention kernels
Figure 17	98060e27...	AuraKernel optimization of weight-free RMS-normalization kernels
Figure 18	44582c23...	AuraKernel optimization of sparse lightning-indexer gradient
Figure 19	bfcb9f2e...	Module task duration before and after operator fusion
Figure 20	9e052418...	Training stability of 50K SFT run
Figure 21	72dedc35...	Ablation on data mixture (Balanced vs Pure OR)

附表格索引

编号	说明
Table 1	Communication latency breakdown (TP+DP/PP/EP)
Table 2	Top operators ranking by device time share
Table 3	mHC fusion suite: kernels, replaced chains, mathematical contracts, hardware boundaries
Table 4	Diagnostic performance of original DeepSeek-V4-Flash before CPT/SFT
Table 5	Error-family distribution across inference settings
Table 6	Problem modes in self-distilled OR modeling data (DP/DT/DPS)
Table 7	Representative operators optimized by AuraKernel
Table 8	Operator-chain fusion results at batch size 1024
Table 9	Triton-to-AscendC operator rewrite comparison
Table 10	SFT data scale comparison (3K/10K/50K)
Table 11	Data cleaning and CoT enhancement effects
Table 12	CPT-to-SFT transfer results
Table 13	End-to-end comparison: Base/SFT/CPT+SFT with gains
Table 14	General benchmark comparison between SLAI T-Rex and Base
Table 15	OR benchmark comparison across models (SLAI T-Rex vs GPT-5.4-Mini vs Gemini-3-Flash etc.)
Table 16	CPT recipe configuration
Table 17	SFT recipe configuration
Table 18	Capacitated facility location example
Table 19	Illustrative structural errors and detection gates
Table 20	Provenance confidence levels