robotics/bench RoboRSI
SIMULATION → REAL WORLDPR #8 · 首个接入任务

同一策略,
从仿真走向真机。

仿真里能完成,到了真实世界还行吗?
Robotics Bench 连接 GPU 仿真与 RoboRSI 真机执行,用同一 TaskGraph 对齐过程,衡量策略迁移的差距。

PhysicalRSI / 双臂笔筒任务 · 仿真记录已接入,真机配对待完成

ONE POLICY固定任务、策略与版本配对待建立
Isaac Sim 双臂笔筒任务场景
SIMGPU / Isaac Sim 5.1
RoboRSI 真机实验背景图,尚未与当前仿真配对
REALRoboRSI / 背景画面
共享 TaskGraph定位差距发生在哪一步
Simulation记录已接入
Same-policy Real待接入
TaskGraph Gap待配对后计算

一条策略,
两种环境,一套评测。

先定义任务与策略,再在 GPU 上运行仿真。
将同一策略部署到真机,最后对齐执行过程,
回答它是否仍然有效、差距出在哪里。

  1. 01 / DEFINE

    任务与策略

    约定任务目标、技能接口和成功条件,固定用于比较的策略版本。

    输出 / 任务定义 + 策略标识
  2. 02 / SIMULATE

    GPU 仿真

    在 Isaac Sim 执行策略,保存观测、动作、结果与可回放轨迹。

    输出 / 仿真执行记录
  3. 03 / TRANSFER

    真机运行

    通过记录在案的硬件适配部署同一策略,采集 RoboRSI 真机过程。

    输出 / 同策略真机记录 · 待接入
  4. 04 / COMPARE

    TaskGraph 对照

    将两端映射到同一组任务节点与条件,比较完成情况和执行代价。

    输出 / sim-to-real gap · 待计算
Robotics Bench 负责对齐与比较;RoboRSI 承接真机执行与改进。对照结果回到策略迭代,下一版重新建立配对,保留版本脉络。

仿真怎么做,
真机能否复现?

这里将呈现同一策略在两种环境的表现。
现有仿真录像与真机记录尚未配对,
当前不能据此判断迁移成功或计算 gap。

当前状态 / 未配对

同策略 ID、匹配场景与两端 TaskGraph 记录补齐后,才形成一组可比较的实验。

SIMULATION

GPU 上的仿真执行

历史录像已接入
v13-round01-layout0 · 805 次动作

GPT-6 Astra + VLA 历史参考回合。可观察持筒、插入与归位过程,尚无对应的同策略真机录像。

查看独立的模型仿真试验 ↓
REAL WORLD

RoboRSI 真机执行

同策略记录待接入
REAL / PENDING

为同一策略的
真机运行留出位置。

待接入:真机录像、策略版本、
场景条件与 TaskGraph 轨迹。

尚无可配对结果
已有真机实验 ≠ 已完成同策略对照

RoboRSI 有独立的真机研究录像。它们可用于了解平台,但暂不作为当前仿真策略的迁移证据。

查看 RoboRSI 现有真机演示 ↗
区分三类仿真证据

上方视频对应 v13 历史参考轨迹。当前通过验证的 Oracle 使用 v12 预录轨迹,共 713 次动作,执行时不调用语言模型。下方 Kimi 模型试验是另一批运行。三者不能拼接为同一策略的 sim-to-real 对照。

对齐任务的进展,
看清差距在哪一步。

TaskGraph 用节点表达目标状态,
用依赖关系表达完成条件。两端动作可以不同,
但必须回答同一个问题:这一环是否完成?

任务结构示意 · 非已提取的运行轨迹

PR #8 / 持住笔筒 → 插入四支笔 → 放稳笔筒 → 双臂归位

SELECTED NODE / N01

持住笔筒

检查笔筒是否被稳定持住,并持续为另一只手提供操作空间。

比较:建立持筒状态是否成功、重新抓取次数,以及进入下一节点前的停滞。

SIM TRACE待映射已有录像,尚未接入统一节点标注
REAL TRACE待接入缺少同策略真机记录
NODE GAP—仅在两端可比较后计算

插入节点包含四支笔的子目标;示意图不额外规定笔的先后顺序。实际节点定义、依赖和容差需以版本化的任务判定规范为准。

Gap 是多少,
要从同一张图上读。

先确认同一策略和可比条件,
再比较任务是否完成、哪些节点失效,
以及多付出了多少重试与时间。

CURRENT SIM-TO-REAL GAP— 待测

缺少配对的真机记录与两端 TaskGraph 标注。
未测不等于 gap 为零,也不代表迁移成功。

“同一策略”需要什么?

  • 固定策略版本:模型/权重、提示词、技能与参数。
  • 共享任务目标、TaskGraph 定义和判定条件。
  • 记录两端场景、机器人标定及硬件适配差异。
  • 保留成组试验、异常和人工干预,报告样本量。

若修改了策略,则建立新的对照组;真机适配与安全约束也需显式记录。

从任务结果到节点过程

拟采用的对照口径 · 待验证
待配对数据接入后计算的 TaskGraph 对照指标
对照维度如何从 TaskGraph 衡量Gap 表达当前结果
任务完成检查全部必要节点与终态是否满足,分别报告有效试验数。Sim 成功率 − Real 成功率
百分点;正值表示真机下降
待配对
节点完成按相同节点条件,统计各节点在有效试验中的达成率。逐节点完成率差
定位从哪一环开始分化
待标注
依赖与路径比较前置条件满足情况,记录回退、循环及失效节点。路径差异 + 依赖违反记录
不强求两端低层动作完全相同
待标注
执行代价在可比、已完成的节点内,比较重试次数和实际执行耗时。Real − Sim 的差值与分布
另报未完成节点与样本数
待测量
先展示逐项差异,再决定是否汇总。

本页暂不汇总为单一分数;TaskGraph 对照口径与权重确认后,再发布综合指标。仿真回放一致性是仿真内部验证;视频时长(尤其加速录像)不能代替真实执行耗时。比较口径、超时与缺失值处理需在成组试验前固定。

下一组完整证据

策略版本 + 两端场景 → Sim / Real 录像与轨迹 → 同一 TaskGraph 标注 → 节点差异与任务结果

先看已有的
仿真运行记录。

以下成绩仅来自仿真,不是 sim-to-real gap。
模型:Kimi k3.1 pro。
分别使用 Codex 和 Claude Code 两套执行工具,
每套进行 5 次试验。

CODEX HARNESSGPU 1
0 / 3 次有效试验通过

3 次任务未完成 · 2 次 API 限流未计分

CLAUDE CODE HARNESSGPU 2
0 / 5 次有效试验通过

5 次任务未完成 · 回放均一致

显示 10 次试验
Kimi k3.1 pro 在两套执行工具下的逐次试验结果
试验执行工具任务结果动作数回放一致性原始记录
i

怎样理解这些结果?8 次有效试验都用满了 1,100 次动作,原生任务得分为 0.0,且独立回放一致。两次接口限流属于执行错误,不算任务失败样本。这是一个固定场景的有限试验记录,不能外推为通用机器人能力排名。

模型试验版本 fbeaf4d后续修改包括运行配置与引擎元数据;PR 说明模型可见内容未改变。

动作执行了,
也要能复核。

任务完成与回放一致必须同时成立。
智能体自己写下“成功”,不会获得通过奖励。

01 / EXECUTE

实时执行

智能体读取图像和状态,通过公开动作接口控制仿真机器人。

02 / RECORD

记录实际动作

可信采集器保存实际执行过程,封存可供后续验证的记录。

03 / REPLAY

独立回放评分

在全新的隔离进程中重放轨迹,检查任务条件和物理状态一致性。

CONTROL CHECKS / 2026.11.10

参考方案通过,
无动作对照不通过。

当前参考验证版本 e8a1852
Oracle 执行预录的 v12 轨迹,不进行模型推理。

查看验证运行 ↗
对照GPU 1GPU 2
Oracle713 次动作 / 回放一致通过 · 1通过 · 1
Nop不执行策略未通过 · 0未通过 · 0

从结论,回到证据。

仿真成绩来自 PR #8;真机背景来自 RoboRSI。
跨环境 TaskGraph 对照口径为待验证草案,
同策略配对数据尚未接入。