Blog Tags GitHub
All tags

reasoning

10 posts tagged with "reasoning"

ProSpec RL: Plan Ahead, then Execute

受人类前瞻性思维启发的强化学习方法：智能体通过动态模型对若干动作序列进行 n 条虚拟轨迹的前向想象，结合模型预测控制（MPC）挑选高价值动作；再以循环一致性约束状态可逆性，避免不可逆事件并生成大量虚拟轨迹提升数据效率。在 DMControl-100k 六个环境中取得五项最好成绩，中位数分数 807.5，比 PlayVirtual 提升 8.32%，比 CURL 提升 44.20%。

reasoning system-optimization

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

从动作 tokenization 视角统一审视 VLA 模型的综述。提出 VLA 模块 + 动作 token 的统一框架，将现有 VLA 模型归为 8 种动作 token 类型（语言描述/代码/可供性/轨迹/目标状态/隐表示/原始动作/推理），逐一分析每种类型的优势、局限与未来方向，并提出分层架构趋势与从 VLA 模型到 VLA 智能体的演进路径。

robotics vision-language survey reasoning rlhf

Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications

面向真实世界部署的 VLA 全栈综述。系统梳理 VLA 三大挑战（数据稀缺 / 具身迁移 / 算力成本）、架构演进（CNN→Transformer→VLM→Diffusion/Flow→分层控制），并给出三类核心架构（sensorimotor 7 变体 / world model 3 模式 / affordance 3 模式）、模态处理（视觉/语言/动作/音频/触觉/3D）、训练范式（SL/SSL/RL + 预训练/后训练/梯度隔离/LoRA）、数据采集（遥操作/代理设备/人类视频）、公开数据集（Ego4D/OXE/DROID/AgiBot World）、机器人平台与评测基准（LIBERO/CALVIN/ManiSkill/SIMPLER/RoboArena）。最后给出面向实践者的 6 条建议与 8 个未来方向。

robotics vision-language survey diffusion-model reasoning rlhf

MiMo-V2-Flash Technical Report

小米 309B 总参 / 15B 激活的 MoE 推理与 Agent 大模型。混合注意力（5:1 SWA:GA，128 窗口 + 可学习 attention sink，KV/算力近 6× 缩减），27T token 预训练 + MTP，原生 32K 扩展到 256K。提出 Multi-Teacher On-Policy Distillation (MOPD)：多领域 RL 教师提供 token 级 KL 稠密奖励 + ORM 结果奖励，学生在自身分布上蒸馏多专家。以 1/2、1/3 的参数比肩 DeepSeek-V3.2 与 Kimi-K2；SWE-Bench Verified 73.4%。三层 MTP 做自投机解码，接受长度达 3.6、解码提速 2.6×。

mixture-of-experts sparse-attention speculative-decoding long-context rlhf reasoning

daVinci-kernel: Co-Evolving Skill Selection, Summarization, and Utilization via RL for GPU Kernel Optimization

GPU kernel 优化的强化学习框架：让 Skill Selection、Policy、Skill Summary 三个 agent 共享同一 LLM backbone 端到端联合优化。选择器用 BM25+LLM 重排检索技能，策略生成多轮 CUDA/Triton，摘要器把成功 rollout 蒸馏为可复用 skill，并用执行验证过滤。SFT 冷启动+多轮 REINFORCE 联合训练。KernelBench 上 daVinci-kernel-14B 在 Fast_1 阈值下 L1/L2/L3 达 37.2%/70.6%/32.2%，8B 上 L2 Fast_1.2 从 9.4→22.1、L3 从 0.5→3.0，超越 Dr. Kernel-14B。

reasoning system-optimization

Mesh-RL: Coupled subgrid reinforcement learning

受有限元法与区域分解理论启发的强化学习加速框架：把状态空间沿列方向划分为 M 个重叠子网格，各自维护局部 Q_i；在重叠边界上通过边界一致 TD 更新耦合相邻子网格值函数（边界传播引理保证 Bellman 不动点保持）。不改奖励、不改 Bellman 算子、无显式规划，即可显著加速稀疏奖励下的价值传播。在 10×30 与 20×20 网格 50 洞环境中，M=6 让 Q-learning 累积奖励从 -175k 提升到 +454k；SARSA 从 -245k 提升到 +458k；Dyna-Q 亦获额外提升，最终奖励从 -4.3 → 47.9。

reasoning system-optimization