GPU 上的仿真执行
视频暂时无法加载,请刷新页面后重试。
GPT-6 Astra + VLA 历史参考回合。可观察持筒、插入与归位过程,尚无对应的同策略真机录像。
查看独立的模型仿真试验 ↓仿真里能完成,到了真实世界还行吗?
Robotics Bench 连接 GPU 仿真与 RoboRSI 真机执行,用同一 TaskGraph 对齐过程,衡量策略迁移的差距。
PhysicalRSI / 双臂笔筒任务 · 仿真记录已接入,真机配对待完成


先定义任务与策略,再在 GPU 上运行仿真。
将同一策略部署到真机,最后对齐执行过程,
回答它是否仍然有效、差距出在哪里。
约定任务目标、技能接口和成功条件,固定用于比较的策略版本。
输出 / 任务定义 + 策略标识在 Isaac Sim 执行策略,保存观测、动作、结果与可回放轨迹。
输出 / 仿真执行记录通过记录在案的硬件适配部署同一策略,采集 RoboRSI 真机过程。
输出 / 同策略真机记录 · 待接入将两端映射到同一组任务节点与条件,比较完成情况和执行代价。
输出 / sim-to-real gap · 待计算这里将呈现同一策略在两种环境的表现。
现有仿真录像与真机记录尚未配对,
当前不能据此判断迁移成功或计算 gap。
同策略 ID、匹配场景与两端 TaskGraph 记录补齐后,才形成一组可比较的实验。
视频暂时无法加载,请刷新页面后重试。
GPT-6 Astra + VLA 历史参考回合。可观察持筒、插入与归位过程,尚无对应的同策略真机录像。
查看独立的模型仿真试验 ↓待接入:真机录像、策略版本、
场景条件与 TaskGraph 轨迹。
RoboRSI 有独立的真机研究录像。它们可用于了解平台,但暂不作为当前仿真策略的迁移证据。
查看 RoboRSI 现有真机演示 ↗上方视频对应 v13 历史参考轨迹。当前通过验证的 Oracle 使用 v12 预录轨迹,共 713 次动作,执行时不调用语言模型。下方 Kimi 模型试验是另一批运行。三者不能拼接为同一策略的 sim-to-real 对照。
TaskGraph 用节点表达目标状态,
用依赖关系表达完成条件。两端动作可以不同,
但必须回答同一个问题:这一环是否完成?
PR #8 / 持住笔筒 → 插入四支笔 → 放稳笔筒 → 双臂归位
检查笔筒是否被稳定持住,并持续为另一只手提供操作空间。
比较:建立持筒状态是否成功、重新抓取次数,以及进入下一节点前的停滞。
插入节点包含四支笔的子目标;示意图不额外规定笔的先后顺序。实际节点定义、依赖和容差需以版本化的任务判定规范为准。
先确认同一策略和可比条件,
再比较任务是否完成、哪些节点失效,
以及多付出了多少重试与时间。
缺少配对的真机记录与两端 TaskGraph 标注。
未测不等于 gap 为零,也不代表迁移成功。
若修改了策略,则建立新的对照组;真机适配与安全约束也需显式记录。
| 对照维度 | 如何从 TaskGraph 衡量 | Gap 表达 | 当前结果 |
|---|---|---|---|
| 任务完成 | 检查全部必要节点与终态是否满足,分别报告有效试验数。 | Sim 成功率 − Real 成功率 百分点;正值表示真机下降 | 待配对 |
| 节点完成 | 按相同节点条件,统计各节点在有效试验中的达成率。 | 逐节点完成率差 定位从哪一环开始分化 | 待标注 |
| 依赖与路径 | 比较前置条件满足情况,记录回退、循环及失效节点。 | 路径差异 + 依赖违反记录 不强求两端低层动作完全相同 | 待标注 |
| 执行代价 | 在可比、已完成的节点内,比较重试次数和实际执行耗时。 | Real − Sim 的差值与分布 另报未完成节点与样本数 | 待测量 |
本页暂不汇总为单一分数;TaskGraph 对照口径与权重确认后,再发布综合指标。仿真回放一致性是仿真内部验证;视频时长(尤其加速录像)不能代替真实执行耗时。比较口径、超时与缺失值处理需在成组试验前固定。
以下成绩仅来自仿真,不是 sim-to-real gap。
模型:Kimi k3.1 pro。
分别使用 Codex 和 Claude Code 两套执行工具,
每套进行 5 次试验。
3 次任务未完成 · 2 次 API 限流未计分
5 次任务未完成 · 回放均一致
| 试验 | 执行工具 | 任务结果 | 动作数 | 回放一致性 | 原始记录 |
|---|
怎样理解这些结果?8 次有效试验都用满了 1,100 次动作,原生任务得分为 0.0,且独立回放一致。两次接口限流属于执行错误,不算任务失败样本。这是一个固定场景的有限试验记录,不能外推为通用机器人能力排名。
fbeaf4d后续修改包括运行配置与引擎元数据;PR 说明模型可见内容未改变。任务完成与回放一致必须同时成立。
智能体自己写下“成功”,不会获得通过奖励。
智能体读取图像和状态,通过公开动作接口控制仿真机器人。
可信采集器保存实际执行过程,封存可供后续验证的记录。
在全新的隔离进程中重放轨迹,检查任务条件和物理状态一致性。
仿真成绩来自 PR #8;真机背景来自 RoboRSI。
跨环境 TaskGraph 对照口径为待验证草案,
同策略配对数据尚未接入。