满瓶连续 5/5,3 个位置成功
已有 pick_up / put_down、文字工具调用、每帧 ≤0.3° 流式下发和双证据判定。语音桥已有打断,保留现有工作边界。
以已有抓放能力为起点,分阶段构建反射、潜意识与显意识,
让固定点位演示逐步走向完整的拿水验收。
THE UPDATED DIRECTION / 本轮核心调整
以框架独立的身体层承接动作,借鉴 RPent 的 coding agent、记忆与复盘。先稳定原语,再通过 ExternalProvider 接入 Agent SDK;新旧推理路径在同一组任务上比较。依据:新草案 §2 / §7。
已有 pick_up / put_down、文字工具调用、每帧 ≤0.3° 流式下发和双证据判定。语音桥已有打断,保留现有工作边界。
安全与身体层先行,语音和注意力并行完善,随后加入记忆。数据与 VLA 可独立启动,真机接入仍须通过安全门槛。
从固定点位拿水递送,到全程语音、非固定位置找水找人,再到 VLA 备选执行器。验收数字均为草案目标。
依据本次提供的 2026-11-15 草案整理。本页没有重新访问机器人代码、原验收文件或接口文档;目标值与待办均不代表已完成。此前调研完整保留在页面末尾。
依据:
f1-brain-research.md(第一、二轮调研 + 机器人只读实测),以及机器人上~/phyagentos/pao(分支m1-f1-body)当前的状态。 目标:一步步把 F1 调整成「反射 / 潜意识 / 显意识」三层架构,最终通过ACCEPTANCE_WATER.md的验收。
| 更新位置 | 本轮变化 |
|---|---|
| 首页与架构 | 从调研建议前移到实施计划;以 PAO 底座 + RPent 方法整合 F1 harness。 |
| 现状与差距 | 加入满瓶 5/5、3 个位置成功、双证据判定;列明安全、技能、注意、对话、记忆、学习缺口。 |
| 六阶段推进 | 新增每阶段任务、预计周期、并行关系与验收门槛;VLA 作为独立工作线。 |
| 身体与语音 | 统一可取消原语;调整拿水顺序;语音四工具立即返回,任务后台执行。 |
| 规划器与记忆 | 明确 ExternalProvider 接入、脚本沙箱、模型抽象、三层记忆、证据确认及旧路径回退。 |
| 验收与协作 | 加入 M1–M4、三条线加牵头、五项协调事项及四类主要风险。 |
| 历史与导出 | 旧调研归入历史依据;新增草案原文下载,继续支持完整 HTML、搜索与打印。 |
本轮记录的能力基础、验收缺口与推进原则。
已经有的
pick_up / put_down 已经跑通:满瓶连续 5/5,3 个位置都成功。和验收、调研结论相比,还缺的
| 层 | 缺什么 | 验收里哪一条要求它 |
|---|---|---|
| 反射 | 驱动层碰撞检测不确定;没有电流或残差监控;手臂附近没有检测人;底盘在手动模式下的避障状态读不到 | §1 安全要求,L0–L3 |
| 潜意识·技能 | 只有“正前方一张桌子”这一种情况。站位靠“先抬手再前移”。还没有 go_to、hand_over、找人、找水。技能不能在中途被取消 |
主路径 3–10 步 |
| 潜意识·注意 | 声源角度没接出来;不会转头看人;没有空闲时的小动作;思考时没有填充语 | 第 1 步(1 s 内转头,偏差 ≤20°);“看着人说话” |
| 显意识 | 工具调用会阻塞对话;执行任务时没法边干边聊;机器人状态没注入对话 | “边做边说”“能被打断”,每句回应 ≤2 s |
| 记忆 | 没有地点和物品记忆,没有技能经验,没有访客记忆 | 第 3 步“记得在哪见过水”,第 8 步“重新找到这个人” |
| 学习 | 有数据,但从没训练过 | 不在第一阶段验收范围内 |
cancel_requested 等机制基础;“每个原语都能在中途响应取消并安全停止”仍是第 2 阶段要完善和验证的目标。f1-body 就是它的雏形。PAO 和 Claude Code / Agent SDK 两种规划器都通过同一组工具调用它,等第 5 阶段用试点对比后再定框架。草案 §1 仍保留“第 5 阶段再定框架”的早期措辞。本页当前方向以 §7 的 F1 harness 整合方案为准,试点用于比较新旧推理路径;原文完整保留。
当前计划 · 点选层级,查看职责、实现步骤与完成边界。
保留 PAO 已跑通的工程底座;在身体原语稳定后,通过 ExternalProvider 接入 Agent SDK。任务在后台执行,语音工具立即返回。
完成边界:harness 为计划方案;新旧推理路径同任务对比后再决定默认路径,保留旧路径回退。
下列清单为草案待办,周期为估计;展开阶段查看完整任务与门槛。
硬件急停、驱动保护、实测指标、白名单护栏与看门狗。
目标:在展厅里有人靠近时也敢开机演示。
reflex_monitor 节点。用电机电流或力矩反馈加动力学模型做动量观测器,再加跟踪误差阈值,≥200 Hz 运行,越限就停止或柔顺退让。/steward 的避障参数(要连上底盘才能读)。验收门槛:推前臂时 ≤50 ms 察觉;连续 1 小时演示误报 ≤1 次;急停实测有效。
统一可取消原语,调整导航抓取顺序,完善站位与递送。
目标:一组可以中途取消、结果结构化的原语,覆盖主路径第 5–10 步。
start → progress → result{ok, evidence, failure_reason};cancel(),在动作块边界安全停下;验收门槛:主路径第 5–10 步固定点位 10/10;任意一步可以取消,取消后手臂安全收回。
四个语音工具立即返回;后台执行、本地停令与状态注入。
目标:干活时能聊天、能被打断、会汇报进度。
start_task(goal)、cancel_task()、query_status()、adjust(param),都立即返回 {accepted, task_id};cancel 和反射层停止,不经过云端。session.update 更新背景;conversation.item.create 写入一条 “[机器人状态] …”;speech_text_buffer.replacement 直接播报固定文本。验收门槛:执行 pick_up 过程中,问“做到哪了” ≤2 s 回答;说“停”后 ≤0.5 s 停止动作;每句回应 ≤2 s。
声源角度接入、常驻注意力、资源锁与小幅拟人动作。
目标:满足验收第 1 步,并且“看着人说话”。
验收门槛:叫“小勤”后 1 s 内转头,偏差 ≤20°,10 次里至少成功 9 次。
地点物品、技能经验、任务内访客;按 §7 整合 F1 harness。
整理 310 条数据,微调 π0.5,离线验证后作为抓取备选执行器。
复用已跑通的工程部分,在同一身体接口上引入新的推理、记忆与学习能力。
工具契约与执行证据
RecoveryGuard · action_sequence
取消信号与语音对话轮次
ExternalProvider 扩展入口
Coding agent 组织工具与脚本
分层记忆与 inbox 草稿
任务复盘、证据与回放
成功轨迹回收与学习
模型抽象 · 受控脚本沙箱 · 白名单身体 API · 异步语音 · 共享黑板
接入顺序:原语稳定 → 工具调用试点 → 脚本与记忆 → 验收对比 → 决定默认推理路径。
f1-body/contracts.py),工具执行会生成证据记录(monitor_evidence、monitor.sqlite3)。RecoveryGuard、取消(cancel_requested)、action_sequence 多步工具。ExternalProvider 接口:它允许一个外部推理器替 PAO 的大模型做决定。第一步就利用它接入 coding agent,对 PAO 的改动最小。global/、skill-family/、skill-specific/,外加一个 MEMORY.md 索引。探索时先写草稿进 inbox,成功经过证据和人工确认后才合并进去;执行前一定用当前观测重新定位。global/。qwen2.5:7b,只处理简单意图,不写代码。ExternalProvider 接入一个 Agent SDK 推理器,先只做到“调用工具”这一层,和 deepseek 版 PAO 在同一组任务上比较。比较用的任务:固定点位拿水并递给人;中途打断;目标拿不到时的重试;把水放回原处。看四个指标:成功率、出错后能不能恢复、时延、改起来方不方便。
按草案映射验收;所有下列阈值都需要后续实现与实测。
推前臂时察觉
察觉时间,不是完整停止时间
说“停”后动作停止
独立于云端处理停止词
任务执行中回应
>1 s 时先提供填充语
唤醒后转头成功
1 s 内,偏差 ≤20°
| 里程碑 | 内容 | 对应验收 |
|---|---|---|
| M1 | 第 1 阶段安全门槛 + 第 2 阶段固定点位主路径 | 固定点位“拿水并递给人” |
| M2 | 再加上第 3、4 阶段:能说话、能打断、会转头 | 语音全程,固定点位 |
| M3 | 再加上第 5 阶段的记忆和找水找人 | 位置不固定的完整验收(20 次至少成功 18 次) |
| M4 | 第 6 阶段的 VLA 作为备选执行器 | 泛化到更多物体 |
拆分技能时保持现有抓放能力不退化。
主路径第 5–10 步,验证原语和取消行为。
位置不固定,加入记忆以及找水、找人。
草案引用了 ACCEPTANCE_WATER.md 的条款。本次未取得该验收文件全文,页面按草案中的对应关系呈现。
把实施职责、语音协作边界、硬件回复和训练资源放在同一处对齐。
| 线 | 负责阶段 | 需要的技能 |
|---|---|---|
| 身体与安全 | 第 1、2 阶段 | ROS2、运动学和 IK、硬件联调 |
| 语音与拟人 | 第 3、4 阶段 | 实时音频、豆包协议、交互设计 |
| 数据与 VLA | 第 6 阶段 | 遥操作采集、模型训练、TensorRT |
| 牵头(显意识和框架) | 第 3、5 阶段的约定、黑板、规划器对比 | agent 框架、整体集成 |
update-manager、face_ros2 这些高 CPU 进程,需要谁同意?风险原文与当前仍需细化的口径,便于后续评审时定位。
response.create:状态播报只能用固定文本,语气会比较生硬。缓解办法是写几套话术模板。grasp_trial.py 可能让现在的成功率下降:保留旧脚本作为基准,每拆一步就跑一次 5/5 回归。≤140 N、TCP ≤0.25 m/s、监控 ≥200 Hz、推理 ≤60 ms 等均按草案目标保留,不表示已满足安全标准或已测得相应性能。语音事件名称与模型兼容性仍需结合实际接口核验。
保留此前报告,便于追溯;当前推进方向见上方 2026-11-15 草案。
从任务规划到身体执行,梳理机器人智能体的技术参照、
F1 实测基础,以及面向展厅演示的落地路径。
THE CURRENT DIRECTION / 当前建议
围绕展厅演示,优先推进拟人交互、流畅对话、可靠的固定流程。以现有原语打通任务闭环,再逐步加入本地 VLA 与数据学习。依据:报告 A5 / E。
规划到技能使用语言子任务与工具调用;技能到执行使用动作块或关节目标,便于留日志与接入反馈。
报告记录了既有抓放接口、语音播放打断和 LeRobot 数据。机器人动作抢占与本地降级仍需专门接通。
确认驱动保护和底盘避障状态;接出声源方向,整理示教数据;让每个技能返回可判断的执行结果。
本页根据所提供的报告整理。实测数据、引用与可信度标记均沿用原报告;本页未重新联网核验。架构图表示建议方案。
版本 v0.1 · 2026-11-12 · 适用机器人 F1_D070(Jetson Thor / ROS 2 Jazzy / 天机 Marvin 双臂) 可信度标记:✅ 已打开原文或官方页核实;⚠️ 只依据搜索摘要或二手资料,引用前请回原文确认;「查不到」表示本轮没有找到来源。
pick_up / put_down 工具接口方向是对的。建议方案 · 点击层级,查看职责、接口与落地边界。
大模型处理任务规划、对话与新情况,通过语言子任务或工具调用驱动下层。数值目标由感知工具提供。
当前边界:qwen2.5:7b 已安装;断网降级是建议架构,报告未说明已完成接入。
| 层 | 借鉴 | 在 F1 上怎么实现 |
|---|---|---|
| 反射(毫秒级,永远生效) | Franka 的工作空间限位加步长截断;Pepper 的安全开关;GR00T 和 Helix 都把安全放在模型外 | 保留现在“执行中监控”的流式下发(≤0.3°/40 ms),并加上:关节电流 / 跟踪误差超阈值就停(取决于 §B1 天机驱动能否提供);底盘急停和避障;一个独立进程看门狗,上层失联就停。不受大模型控制,也不能被它关闭。 |
| 潜意识·后台注意 | Autonomous Life;Disney 四态加习惯化;Furhat attend;VAP | 常驻 attention 节点:声源方向 → 转头 → 头部相机确认是人 → 进入 engage。idle 时腰部微动、头部扫视。说话时做小幅手势,被打断时立刻停下并看向用户。思考时移开视线,>1 s 先给填充语。和任务执行并行运行,以资源锁的方式让出头部。 |
| 潜意识·技能 | RPent 可重试原语;RoboCasa 原语表;DoReMi 约束检查 | 维持少量原语:navigate_to / move_base / look_at / pick_up / put_down / hand_over。每个原语可抢占、幂等,返回结构化结果、证据和失败原因。中期再把接触阶段换成 VLA 原语(π0.5 / GR00T,在 Thor 本地跑)。 |
| 技能学习 | Voyager 技能库;RPent 记忆蒸馏和飞轮;RECAP / LWD | 第一步只学“怎么用原语”:markdown 记忆写下每个原语的成功条件和失败模式,每次试验后反思并写回。第二步把成功的复合流程固化成脚本技能。第三步用 PICO 示教加接管数据微调 VLA。 |
| 显意识 | Hi Robot(插话即观测);Gemini ER 编排;RPent 用 Claude Code 当规划器 | 大模型只做规划、对话、处理新情况,不直接给数值,数值来自感知工具。规划结果用语言子任务或工具调用表达,并写进日志,以便回放。 |
| 层间协调 | Helix 异步桥接;RoboOS 共享记忆;Hi Robot 抢占 | 用一个“黑板”共享世界状态(手里拿着什么、人在哪、当前任务、语音状态),各层都能读。显意识通过事件流常驻监听,可以取消当前技能,技能在动作块边界安全停下。语音模型的上下文里注入机器人状态摘要。 |
安全、算力、语音与已有数据:原报告中的只读实测记录。
当前检查范围内未找到相关字段;PICO 上游已发现软件 CollisionGuard。驱动内部保护及底盘避障状态仍需向开发人员确认。
唤醒词与 ROS 接口可打断语音播放。讯飞 SDK 能提供角度,但报告检查的 duplex_demo 尚未使用该事件。
方法:先运行只读脚本 f1-probe-readonly.sh,原始输出在 f1-probe-result.txt;再手动补查几处。所有操作只有 ls、grep、ps、ros2 topic/param 读取,以及对 API 根地址的 curl。没有发任何运动指令,没有改配置,没有重启服务。
motor_ctl 的启动参数里只看到 arm_impedance_type: 1。消息定义里有 SetImpedanceType 和 SetDragMode 两个服务,说明支持阻抗和拖动模式。但在参数和接口里都没有找到碰撞检测、力矩阈值或电流阈值之类的字段,日志里也没有碰撞相关的记录。下一步要查天机 SDK 文档,或者直接问厂商,确认 EtherCAT 驱动内部有没有跟踪误差或过流保护。~/cyb_safe_control_real 能否当反射层:不适合直接用。 它是一个 50 Hz 的命令过滤器:订阅 /hal/joint_states,用 MuJoCo 代理体预测质心投影和手臂与机身的最小距离,再把过滤后的命令发到 /motion_ctl/joint_ctl。另外,它的部分代码用 pyarmor 加了密,现在也没有在运行(ps 里看不到)。总的来说,它和之前导致抓取 0/7 的“运动前证明”是同一类做法。可以借用的是其中的自碰撞距离计算,拿来做执行中的监控。真正的反射层仍然要靠:步长截断、跟踪误差和电流监控、看门狗。/move/State 的消息里有 is_avoid 和 avoid_points 两个字段(定义在 ~/zxl/src/move/msg/State.msg)。导航 action WalkToTargetPose 带 enable_avoid 参数。手动模式由 /steward 节点的参数 robot.manual_move.enable_avoid 控制,guide_robot 默认把它设为 true,手柄可以切换开关。不过 /steward 不在 Thor 的 ROS 图里(Node not found),应该是跑在底盘控制器上的。/move/State 在 4 秒内也没收到任何消息。所以 /move/ManualMoveCmd 下避障现在是不是开着,读不到。要确认,需要连上底盘那一侧,或者做一次低速运动实验。qwen2.5:7b,可以当断网时的备用模型。update-manager:98%,桌面的系统更新检查,可以关掉;rebot-app-service:59%;~/xunfei/avvtn_Demo_llm/doc/README.md)写明会先发 wakeup 事件(不带角度),再发 wakeup_detail 事件(带 angle,例如 81°)。duplex_demo 的代码里搜不到 angle 或 wakeup_detail,说明角度现在被丢掉了。所以“转头看说话的人”第一步就是把这个角度接出来,发成一个 ROS topic。main.py 里有完整的 interrupt_playback():唤醒词会强制打断;ROS 的 /tts_stop 和 /tts_say、导航、音量操作都会打断当前播放;还有 test_xunfei_interrupt.py 测试。对外的接口是 /tts_say、/tts_stop、/tts_state 和 /tts_language。config.toml 里的 instructions,加上工具说明和视觉回答规则)。face_expression.py 里那个 context 只是日志用的。已经有 pao_bridge.py 把意图交给 PAO,这部分另一个会话正在做,这次没有动。要做到状态感知,需要在每轮对话开始前把一段“机器人状态摘要”注入进去,或者提供一个工具让模型自己查。| 位置 | 内容 | 数量 |
|---|---|---|
~/meaxiao/pico/mocap_data/mm/mocap_data |
LeRobot v3.0 数据集,robot_type f1_omnipicker,30 fps。observation.state 和 action 都是 27 维 float32。三路视频:头部 720×1280、左右腕各 480×848。带多路时间戳和数据新鲜度字段(state_max_age_ns 等) |
310 条 episode,682,135 帧(约 6.3 小时),1 个 task,共 13 GB;另有 backups 里的 3、5、18 条 |
~/meaxiao/pico-local-v144-validation |
验证数据 | 428 MB |
~/f1_tianji_teleop |
天机遥操作,100 Hz 控制,用 ros2 bag(mcap)录制:关节、夹爪、TCP、三路压缩图像、/lead/joint_states |
data/all_data 是空的(8 KB) |
~/lxl/XRoboToolkit-.../data |
4 个 mcap 小样本 | 552 KB |
结论:已经有一份可以直接用来微调 VLA 的数据集(LeRobot 格式,正好是 openpi 和 GR00T 接受的格式)。310 条超过了社区常用的 50–100 条,但只覆盖 1 个 task。按 A3 的经验,这么多条集中在一个任务上,有过拟合的风险,下一步应该扩充任务和场景的多样性。27 维 state 每一维对应什么,以及这个 task 具体是什么,本轮没读出来:机器人上的 pandas 缺少 pyarrow,读不了 parquet。
采集系统:~/meaxiao/pico 的 v1.4.5 版,覆盖 PICO 双臂、俯仰躯干和全向底盘,用 LeRobot 格式录制。数据保存后会自动传到 6000d 服务器上的中央数据集,那边有一个需要登录的网页,可以复核数据、给每条打“四阶段”人工标注。机器人上这份最后写入时间是 2026-09-29。
27 维的含义(info.json 的 names):左臂 7 维、右臂 7 维(单位是度);头 3 维、身体 5 维;左右夹爪各 1 维(0–100);底盘速度 vx、vy、yaw_rate 共 3 维。action 与 state 一一对应,是关节空间的目标值。
实际在动的部分(stats.json 里各维的极差):
所以这批数据实际上是右手单臂移动抓放。
任务内容:语言标签只有一个通用的 “F1 PICO teleoperation”。我抽看了 3 条头部视频的帧:第 0 条在办公桌旁;第 150 条和第 300 条都是走向一张圆桌,桌上放着两个黑色小盒,看起来是“抓取或放置小盒”。每条到底做了什么、成功没有,要以 6000d 网页上的人工阶段标注为准,我没有访问 6000d。
时长:每条 14–102 s,中位数约 72 s,对抓放来说偏长。里面可能有走过去、调整姿态的时间,也可能有空闲段。训练前需要按阶段标注切段。
能否用来训练 VLA:格式可以直接用(openpi 和 GR00T 都支持 LeRobot)。有三个问题要注意:
拿它先做一个 π0.5 或 GR00T 的“右手抓放小盒”试点是合适的。
一个相关发现:PICO 遥操作栈自带 CollisionGuard。它在上游以 50 Hz 做模型包络检查,触发后打出 ARM_COLLISION_HOLD_LATCHED,对应的手臂会锁住保持。双臂速度上限是 30°/s。和 cyb_safe_control_real 一样,这是软件模型层的保护,不是驱动层的保护。
围绕分工、通信、可打断性和 F1 适配,保留原报告完整对比。
| 名称 | 机构 / 时间 | 开源 | 快慢分工与频率 | 层间通信 | 能否中途打断 | 对 F1 |
|---|---|---|---|---|---|---|
| Helix | Figure AI,2025-02 | 否 | S2:机载 VLM,7–9 Hz;S1:视觉运动策略,200 Hz,35 DoF(⚠️ 二手资料称 S2 约 7B、S1 约 80M) | latent 向量,S1 每步读 S2 最新一次的 latent | 查不到 | 拿不到模型,只能借鉴异步 latent 桥接的思路。链接 |
| GR00T N1.6 / N1.7 | NVIDIA,N1 发布于 2025-03,N1.6 和 N1.7 在之后陆续发布 | 是(Isaac-GR00T;N1.7 用 NVIDIA Open Model License,可商用) | System 2:VLM(N1.6 用 Cosmos Reason);System 1:DiT 扩散动作头。N1.7 在 Thor 上 NVFP4 约 25 Hz ✅ | 同一个模型内部通过 embedding 传递 | 查不到 | 原生支持 Thor,适配最顺。需要新建 Marvin 的 embodiment 定义并采数据微调,难度中等。repo · N1.6 · Thor 教程 |
| π0.5 | Physical Intelligence,2025-04 | 是(openpi) | 同一个模型先预测语言子任务,再输出连续动作;可做 10–15 分钟的长程任务 | 语言子任务(模型内部) | 查不到 | 可以用 openpi 微调,Thor 上有官方 TRT 流程(见 A3)。论文 · openpi |
| Hi Robot | Physical Intelligence,2025-02(ICML 2025) | 代码查不到 | 高层 VLM 解析指令和用户反馈;低层是 π0 | 语言原子指令 | 明确支持:训练时用合成的情境插话、纠正数据(例如“不要那个”) | 可直接借鉴的是“插话也是一种观测”这一做法。arXiv · 页面 |
| Gemini Robotics 1.5 / ER 1.5 | Google DeepMind,2025-09-25 | ER 1.5 有 API 预览;VLA 只对合作伙伴开放 | ER 负责规划和编排,可以调用搜索等工具;VLA 把语言指令转成动作,执行前会“先想一步” | 自然语言 | 查不到专门说明;⚠️ 模型页显示 ER 不支持 Live API | ER 可以当云端慢系统,输出点位、框和计划。博客 · API |
| RoboBrain 2.0 / 2.5 + RoboOS | 智源 BAAI,2025-05 / 2025-07 | 是(RoboBrain 32B 为 Apache-2.0;RoboOS 开源) | 大脑(云端 VLM)负责任务分解和空间推理;小脑负责各机器人的技能;有共享记忆 | 子任务和技能调用(RoboOS 2.0 走 MCP) | 有状态反馈,但没找到“人中途纠正”的机制 | 工程上好集成:可以把 ROS2 技能注册成 MCP 工具。RoboOS · RoboBrain2.0 · arXiv |
| AgiBot GO-1 | 智元,2025-03 发布,2025-09 开源 | 是(许可证 ⚠️ 未核实) | ViLLA 架构:VLM(InternVL-2B)+ Latent Planner + 扩散动作专家 | 隐式动作 token | 查不到 | 迁移到 Marvin 需要微调,难度中偏高。repo |
| Galaxea G0 | 星海图,2025-08/09 | 是,但 CC BY-NC-SA,不可商用 | G0-VLM 慢思考出子任务;G0-VLA 快执行 | 语言子任务 | 查不到 | Galaxea R1 也是双臂移动平台,数据结构可以参考。arXiv |
| 银河通用 GraspVLA / NavFoM | 银河通用 + 北大,2025-05 | ⚠️ 二手资料称权重已放出 | 官方称“三层大模型体系”;分工的权威说明查不到 | 查不到 | 查不到 | 只能当单项抓取技能来评估。arXiv |
启示
规划、原语、失败反馈与记忆:哪些做法可以迁移到 F1。
| 工作 | 机构 / 时间 | 开源 | 核心方法 | 对 F1 的启示 |
|---|---|---|---|---|
| RPent / Harness VLA ✅ | RLinf 组织(论文页没写机构);arXiv 2607.08448,v1 2026-07-09,v5 2026-09-24 | 是,Apache-2.0 | 把冻结的 VLA(π0.5 等)包装成可重试的接触原语,另有一小组解析原语(grounding / staging / transport / navigation / release)。规划器用 Claude Code / Codex(Agent SDK、pydantic-ai),配两级 markdown 记忆,加反思和蒸馏;成功轨迹用来微调 VLA,形成飞轮。报告结果:LIBERO-Pro 比最强基线高 38.6 分,RoboCasa365 高 25.4 分;飞轮把 RoboTwin 成功率从 48% 提到 72%(README) | 范式和 F1 最接近。它没有 ROS2 和人形支持,需要自己写适配层。arXiv · repo |
| Code as Policies | Google,2022 | 是 | 大模型生成调用感知和控制 API 的 Python 代码 | 带循环或条件的任务可以让规划器写脚本,脚本里调用原语。arXiv |
| ProgPrompt | NVIDIA 等,2022 | — | 程序式提示,并加入 assert 前置条件 | 工具调用前检查前置条件,例如“手是空的”。arXiv |
| VoxPoser | 斯坦福,2023 | 是 | 大模型写约束(3D 价值图),交给运动规划器优化 | 做精细操作时,让大模型输出约束,不直接输出轨迹。arXiv |
| RoboCodeX / MALMM | 2024 | ⚠️ | 树状分解 / 多 agent(规划、编码、监督) | 可以单独加一个“监督 agent”判断成败。RoboCodeX · MALMM |
| Voyager | NVIDIA / Caltech,2023 | 是 | 自动课程 + 可执行代码技能库(按描述检索)+ 自我验证 | 把成功过的复合流程存成带描述的函数,作为技能沉淀的基础。arXiv |
| Inner Monologue / REFLECT / DoReMi / AHA | Google 2022 / 哥大 2023 / 2023 / NVIDIA 2024 | 部分开源 | 把成功检测文本回灌;用多模态摘要定位失败;规划时同时生成约束,执行中持续检查;专门检测失败的 VLM | 每个原语都返回结构化结果和证据(F1 的 held_and_lifted 已经是这个思路)。IM · REFLECT · DoReMi · AHA |
| ros-mcp-server | robotmcp | 是 | 通过 rosbridge 把 ROS 的 topic、service、action 暴露给 MCP 客户端 | 只暴露语义级工具,不暴露裸 topic;伺服控制留在 ROS 里。repo |
| Anthropic Project Fetch | Anthropic,2025-11 / 2026-06 | 否 | 让 Claude 给 Unitree Go2 编程或控制它(⚠️ 二手报道对结论的转述互相矛盾,以原文为准) | — 原文 |
推理性能参照、示教规模经验,以及从数据到技能的迭代方式。
Thor 实测延迟(单次推理出一个动作块)
| 模型 | 后端 | 延迟 | 来源 |
|---|---|---|---|
| π0.5 | PyTorch BF16 | ~132 ms | ✅ Jetson AI Lab |
| π0.5 | TRT FP8 / FP8+NVFP4 | ~54 / ~49 ms。不能用纯 FP16,Gemma 注意力层会溢出 | ✅ 同上 |
| π0.5 / GR00T N1.6 | FlashRT(社区) | 40–45 ms(22–25 Hz) | NVIDIA 论坛 |
| GR00T N1.6 | torch.compile | ~105 ms | ✅ 官方 repo |
| GR00T N1.7 | TRT NVFP4 | 125 → 39.9 ms | ✅ Jetson AI Lab |
| OpenVLA-OFT / SmolVLA / RDT | — | 查不到 Thor 实测 | — |
微调需要多少数据
数据飞轮
对 F1 的建议
声源转向、注视、倾听和思考反馈,作为展厅交互的常驻能力。
| 系统 / 研究 | 做法 | 对 F1(没有脸、能转头、有声源方向、有升降腰) |
|---|---|---|
| Pepper/NAO Autonomous Life(Aldebaran,闭源) | 一个常开的“活着”层,包括:BasicAwareness(对声音、动作、触摸转头)、呼吸式微动、说话手势(SpeakingMovement)、倾听动作(ListeningMovement);带调试开关 | 整体照搬这套架构。 文档 · BasicAwareness |
| Disney Research 机器人注视(闭源) | subsumption 分层:底层是呼吸、扫视、眨眼;上层是 read / glance / engage / acknowledge 四态;对刺激有习惯化,看久了兴趣下降 | 没有眼睛,就用头颈做扫视加习惯化。页面 · IEEE Spectrum |
| Ameca / Tritium(Engineered Arts,闭源) | 动画师做关键帧,再叠加程序化动作;有 Python / REST API。具体注视算法查不到 | 可借鉴的是“关键帧库 + 程序叠加”的工作流。wiki |
| Furhat(闭源) | Realtime API;attend(用户或位置) 抽象 |
接口可以设计成 attend(user_id | 方位角)。API |
| Moshi(Kyutai,开源) | 双流全双工,实际延迟约 200 ms | 主要支持英文,用来证明全双工延迟可以做到 200 ms 以下。arXiv |
| 豆包 Seeduplex / 实时语音 3.0 | 原生全双工;官方称误打断减半(无第三方评测) | F1 已经在用。要把“开始说 / 停止说 / 被打断”事件接到动作层。博客 |
| VAP(KTH,开源) | 预测话轮转换和回馈语时机 | 可在本地决定什么时候点头或说“嗯”。repo |
可以当参数用的 HRI 结论
保留原报告的研究方向;将可协商的人力组织为三条工作线。
确认驱动保护与避障状态,完善执行监控、技能接口、取消与结果反馈。
接入声源角度与机器人状态,协调注意力、语音事件及身体资源。
复核阶段标注,完善数据语言与单位映射,启动小范围微调与验证。
来源:E 节建议每条线至少 1 人,显意识与 Agent 框架由牵头人负责。具体人员尚待协商。
碰撞与过流保护、状态反馈、阻抗模式、底盘避障,以及软件安全停止接口。
保留方案形成过程:原始问题在前,2026-11-13 的答复与调整在后。
meaxiao 那 310 条数据是什么任务、谁采集的?| 问题 | 答复 | 对架构的影响 |
|---|---|---|
| 能否长期依赖云端 | 可以,但本地更好 | 云端为主,本地兜底:显意识默认用云端大模型。本地常驻 qwen2.5:7b(已经装好),负责断网降级、简单意图和闲聊。反射层和潜意识层全部在本地运行。等 VLA 在 Thor 上跑起来,操作技能也放在本地。 |
| 使用场景 | 展厅演示 | 优先级调整为:拟人行为、对话流畅、可靠的固定流程,排在泛化能力前面。具体是:先接声源角度转头和 idle 微动;回应超过 1 s 时先给填充语;“拿水”用固化技能,保证成功率。人群环境里底盘避障必须开着,手臂速度要保守。展厅网络不一定可靠,本地兜底更重要。 |
| 团队规模 | 可以商量分配 | 建议分 3 条线,每条至少 1 人:① 身体层和安全(反射、技能);② 语音和拟人(注意力、对话);③ 数据和 VLA(采集、标注、微调)。显意识和 agent 框架由牵头人负责。 |
| 许可证 | 不太清楚,能用就行 | 解释:许可证规定了模型或代码能不能用于商业用途、能不能修改和再分发。比如 Galaxea G0 是 CC BY-NC-SA,禁止商用。展厅演示如果算公司的商业展示,就可能违反。建议默认选 Apache-2.0、MIT 或 NVIDIA Open Model License 这类允许商用的:openpi、GR00T、RoboBrain、RPent 都满足。拿不准时问公司法务。 |
| 驱动层保护 | 去问驱动开发人员 | 我联系不到他们,问题清单写在下面,由你转交。 |
| meaxiao 数据 | 自己看 | 见 §B4 补充。 |
motor_ctl 能不能把关节电流或力矩反馈和跟踪误差以 ROS topic 发出来?我们想自己做 500 Hz 以上的执行中监控。arm_impedance_type: 1 是什么模式?阻抗的 K/D 现在是多少?能不能在任务里动态调低刚度,比如递水给人的时候?/steward 节点跑在哪台控制器上?手动模式参数 robot.manual_move.enable_avoid 当前是什么值?/move/State 为什么在 Thor 上收不到消息?本文按用户提供的架构草案及历史报告整理。验收数字为草案目标;本次未重新读取机器人代码、ACCEPTANCE_WATER.md 或外部技术来源。