5 posts tagged with "rlhf"
从动作 tokenization 视角统一审视 VLA 模型的综述。提出 VLA 模块 + 动作 token 的统一框架，将现有 VLA 模型归为 8 种动作 token 类型（语言描述/代码/可供性/轨迹/目标状态/隐表示/原始动作/推理），逐一分析每种类型的优势、局限与未来方向，并提出分层架构趋势与从 VLA 模型到 VLA 智能体的演进路径。
面向真实世界部署的 VLA 全栈综述。系统梳理 VLA 三大挑战（数据稀缺 / 具身迁移 / 算力成本）、架构演进（CNN→Transformer→VLM→Diffusion/Flow→分层控制），并给出三类核心架构（sensorimotor 7 变体 / world model 3 模式 / affordance 3 模式）、模态处理（视觉/语言/动作/音频/触觉/3D）、训练范式（SL/SSL/RL + 预训练/后训练/梯度隔离/LoRA）、数据采集（遥操作/代理设备/人类视频）、公开数据集（Ego4D/OXE/DROID/AgiBot World）、机器人平台与评测基准（LIBERO/CALVIN/ManiSkill/SIMPLER/RoboArena）。最后给出面向实践者的 6 条建议与 8 个未来方向。
小米 309B 总参 / 15B 激活的 MoE 推理与 Agent 大模型。混合注意力（5:1 SWA:GA，128 窗口 + 可学习 attention sink，KV/算力近 6× 缩减），27T token 预训练 + MTP，原生 32K 扩展到 256K。提出 Multi-Teacher On-Policy Distillation (MOPD)：多领域 RL 教师提供 token 级 KL 稠密奖励 + ORM 结果奖励，学生在自身分布上蒸馏多专家。以 1/2、1/3 的参数比肩 DeepSeek-V3.2 与 Kimi-K2；SWE-Bench Verified 73.4%。三层 MTP 做自投机解码，接受长度达 3.6、解码提速 2.6×。
DigenRL：为扩散生成模型 RL 后训练设计的解耦式（disaggregated）系统。用 Generation-Axis Pipeline (GAP) 沿生成维度细粒度流水，Timestep Parallelism (TSP) 替代数据并行提升 trainer GPU 利用率，Elastic Trainer-Assisted Generation (TAG) 让 trainer 空闲时协助 rollout，Trajectory-Consistent Stale Sync (TCSS) 严格约束一步陈旧样本。相比 VeRL-Omni 在 QwenImage 20B 上加速 1.56×–2.21×；HunyuanVideo 1.13×–1.49×；异构 GPU 场景 1.46×–1.85×；消融显示 GAP+TSP+TAG+TCSS 累计将 speedup 从 naive 1.52× 提升到 3.34×。
面向 Qwen-Image-2.0 扩散模型的 RLHF + On-Policy Distillation 后训练管线。用 VLM 微调 + 逐点评分 + CoT 构建 T2I（对齐/美学/人像）与编辑（指令遵循/人脸ID）复合奖励；基于 Flow-GRPO 引入混合 CFG（仅 rollout 用 CFG）、组内奖励范围过滤、每类权重校准、高噪声时间步采样；最后用 OPD 通过轨迹级速度匹配（W2 上界）把 T2I 与编辑双教师合并为单学生。Qwen-Image-Bench 57.84（+2.61），T2I Elo 1193（+78），编辑 Elo 1349（+93）。