IMPLEMENTATION PLAN / 2026.11.15

F1「Agent 当大脑」
架构调整计划

以已有抓放能力为起点,分阶段构建反射、潜意识与显意识,
让固定点位演示逐步走向完整的拿水验收。

架构草案 · v0.1计划日期 2026.11.15基于 m1-f1-body 状态保留 11.13 调研依据
01 / P
F1 ARCHITECTURE PLAN
最终目标ACCEPTANCE_WATER.md本轮重点身体层 · 语音并行 · Harness

THE UPDATED DIRECTION / 本轮核心调整

保留 PAO 的工程底座,整合成 F1 自己的 harness。

以框架独立的身体层承接动作,借鉴 RPent 的 coding agent、记忆与复盘。先稳定原语,再通过 ExternalProvider 接入 Agent SDK;新旧推理路径在同一组任务上比较。依据:新草案 §2 / §7。

BASELINE已有基础 · 草案记录

满瓶连续 5/5,3 个位置成功

已有 pick_up / put_down、文字工具调用、每帧 ≤0.3° 流式下发和双证据判定。语音桥已有打断,保留现有工作边界。

IMPLEMENTATION计划实施

六个阶段,三条线加一个牵头

安全与身体层先行,语音和注意力并行完善,随后加入记忆。数据与 VLA 可独立启动,真机接入仍须通过安全门槛。

ACCEPTANCE目标 · 待验证

M1 → M4,逐步扩大能力范围

从固定点位拿水递送,到全程语音、非固定位置找水找人,再到 VLA 备选执行器。验收数字均为草案目标。

已有基础:按草案记录计划实施:尚待推进目标:须真机实测待确认:接口 / 人员 / 资源

依据本次提供的 2026-11-15 草案整理。本页没有重新访问机器人代码、原验收文件或接口文档;目标值与待办均不代表已完成。此前调研完整保留在页面末尾。

草案依据与最终目标11.15 · 原文

依据:f1-brain-research.md(第一、二轮调研 + 机器人只读实测),以及机器人上 ~/phyagentos/pao(分支 m1-f1-body)当前的状态。 目标:一步步把 F1 调整成「反射 / 潜意识 / 显意识」三层架构,最终通过 ACCEPTANCE_WATER.md 的验收。

本次同步更新了什么CHANGE LOG · 11.15
更新位置本轮变化
首页与架构从调研建议前移到实施计划;以 PAO 底座 + RPent 方法整合 F1 harness。
现状与差距加入满瓶 5/5、3 个位置成功、双证据判定;列明安全、技能、注意、对话、记忆、学习缺口。
六阶段推进新增每阶段任务、预计周期、并行关系与验收门槛;VLA 作为独立工作线。
身体与语音统一可取消原语;调整拿水顺序;语音四工具立即返回,任务后台执行。
规划器与记忆明确 ExternalProvider 接入、脚本沙箱、模型抽象、三层记忆、证据确认及旧路径回退。
验收与协作加入 M1–M4、三条线加牵头、五项协调事项及四类主要风险。
历史与导出旧调研归入历史依据;新增草案原文下载,继续支持完整 HTML、搜索与打印。
02 / BASELINE & GAPS

从已有能力出发

本轮记录的能力基础、验收缺口与推进原则。

草案 §0 / §1

已经有的

  • pick_up / put_down 已经跑通:满瓶连续 5/5,3 个位置都成功。
  • 大模型(PAO + deepseek)能在文字对话里调用这两个工具。
  • 执行中监控:流式下发,每帧 ≤0.3°;成功判定要两路证据。
  • 语音桥由另一个会话在做,已经能打断。
  • 有 310 条 PICO 遥操作数据,LeRobot 格式。

和验收、调研结论相比,还缺的

层 缺什么 验收里哪一条要求它
反射 驱动层碰撞检测不确定;没有电流或残差监控;手臂附近没有检测人;底盘在手动模式下的避障状态读不到 §1 安全要求,L0–L3
潜意识·技能 只有“正前方一张桌子”这一种情况。站位靠“先抬手再前移”。还没有 go_to、hand_over、找人、找水。技能不能在中途被取消 主路径 3–10 步
潜意识·注意 声源角度没接出来;不会转头看人;没有空闲时的小动作;思考时没有填充语 第 1 步(1 s 内转头,偏差 ≤20°);“看着人说话”
显意识 工具调用会阻塞对话;执行任务时没法边干边聊;机器人状态没注入对话 “边做边说”“能被打断”,每句回应 ≤2 s
记忆 没有地点和物品记忆,没有技能经验,没有访客记忆 第 3 步“记得在哪见过水”,第 8 步“重新找到这个人”
学习 有数据,但从没训练过 不在第一阶段验收范围内
取消能力的状态:PAO 已有 cancel_requested 等机制基础;“每个原语都能在中途响应取消并安全停止”仍是第 2 阶段要完善和验证的目标。
五条推进原则§ 1 · 原文
  1. 不整体迁移框架。 先把“身体层”做成独立于框架的模块,现有的 f1-body 就是它的雏形。PAO 和 Claude Code / Agent SDK 两种规划器都通过同一组工具调用它,等第 5 阶段用试点对比后再定框架。
  2. 安全先于功能。 第 1 阶段的反射层底线没达标,就不进入有人靠近的递水和展厅测试。
  3. 每阶段都对应验收里的具体条款,并且在真机上验证(沿用现在“脚本直跑 N 次 + 证据”的做法)。
  4. 不打扰正在进行的工作。 语音桥归另一个会话负责,本计划只定接口约定,不改它的代码。厂商目录只读。
  5. 数值来自感知和实测。 大模型只选技能、给语义参数,不给关节值。

草案 §1 仍保留“第 5 阶段再定框架”的早期措辞。本页当前方向以 §7 的 F1 harness 整合方案为准,试点用于比较新旧推理路径;原文完整保留。

03 / TARGET ARCHITECTURE

三层架构,共用一组身体接口

当前计划 · 点选层级,查看职责、实现步骤与完成边界。

草案 §1 / §2 / §7
F1 三层目标架构任务并行 · 白名单身体 API · 独立反射
共享
状态黑板
当前任务人在哪里手中物体语音状态
记忆与学习旁路:地点物品 / 技能经验 / 任务内访客 · 成功轨迹回流
L3 · F1 HARNESS

显意识:复用底座,引入新的推理能力

保留 PAO 已跑通的工程底座;在身体原语稳定后,通过 ExternalProvider 接入 Agent SDK。任务在后台执行,语音工具立即返回。

  • 首选 Claude;deepseek 兼容性仍需核实。
  • 工具调用试点通过后,再加入受控脚本、记忆与复盘。
  • 本地 qwen2.5:7b 只处理简单意图,不写代码。

完成边界:harness 为计划方案;新旧推理路径同任务对比后再决定默认路径,保留旧路径回退。

04 / PHASED DELIVERY

六阶段推进计划

下列清单为草案待办,周期为估计;展开阶段查看完整任务与门槛。

草案 §2
可并行阶段 1 + 2安全底线 / 身体层
可并行阶段 3 + 4语音任务 / 后台注意
独立工作线阶段 6数据可先行,真机接入过安全门
所有事项保持“计划待实施”
01
第 1 阶段 · 反射层底线
约 1–2 周 · 可与阶段 2 并行

硬件急停、驱动保护、实测指标、白名单护栏与看门狗。

目标:在展厅里有人靠近时也敢开机演示。

    • 驱动层有碰撞或过流保护:在真机上标定灵敏度,然后打开。
    • 没有:写 reflex_monitor 节点。用电机电流或力矩反馈加动力学模型做动量观测器,再加跟踪误差阈值,≥200 Hz 运行,越限就停止或柔顺退让。
    • 手臂停止时间和停止距离;
    • 用测力计测前臂和手部的接触力(目标手部 ≤140 N);
    • 底盘侧 /steward 的避障参数(要连上底盘才能读)。

验收门槛:推前臂时 ≤50 ms 察觉;连续 1 小时演示误报 ≤1 次;急停实测有效。

02
第 2 阶段 · 身体层技能化
约 2–3 周

统一可取消原语,调整导航抓取顺序,完善站位与递送。

目标:一组可以中途取消、结果结构化的原语,覆盖主路径第 5–10 步。

    • 每个原语都有 start → progress → result{ok, evidence, failure_reason};
    • 支持 cancel(),在动作块边界安全停下;
    • 幂等,可以重试。

验收门槛:主路径第 5–10 步固定点位 10/10;任意一步可以取消,取消后手臂安全收回。

03
第 3 阶段 · 显意识和对话并行
约 2 周 · 与语音桥协作

四个语音工具立即返回;后台执行、本地停令与状态注入。

目标:干活时能聊天、能被打断、会汇报进度。

    • 豆包只拿 4 个粗粒度工具:start_task(goal)、cancel_task()、query_status()、adjust(param),都立即返回 {accepted, task_id};
    • PAO 在后台执行任务;
    • “停 / 别动”这类词由本地规则处理,直接触发 cancel 和反射层停止,不经过云端。
    • 任务切换时用 session.update 更新背景;
    • 低频进展用 conversation.item.create 写入一条 “[机器人状态] …”;
    • 失败或安全事件用 speech_text_buffer.replacement 直接播报固定文本。

验收门槛:执行 pick_up 过程中,问“做到哪了” ≤2 s 回答;说“停”后 ≤0.5 s 停止动作;每句回应 ≤2 s。

04
第 4 阶段 · 后台注意与拟人
约 1–2 周 · 可与阶段 3 并行

声源角度接入、常驻注意力、资源锁与小幅拟人动作。

目标:满足验收第 1 步,并且“看着人说话”。

    • 收到声源角度 → 转头 → 头部相机确认是人 → 注视;
    • 对一个刺激看久了兴趣下降(习惯化);思考时移开视线,说完再看回来;
    • 空闲时腰部有轻微“呼吸”感,头部小幅扫视;
    • 做任务时把头部的使用权让出去(资源锁);
    • 有一键关闭的开关。

验收门槛:叫“小勤”后 1 s 内转头,偏差 ≤20°,10 次里至少成功 9 次。

05
第 5 阶段 · 记忆 + 规划器试点
约 2 周

地点物品、技能经验、任务内访客;按 §7 整合 F1 harness。

06
第 6 阶段 · 数据和 VLA 试点
独立工作线 · 可从现在开始

整理 310 条数据,微调 π0.5,离线验证后作为抓取备选执行器。

进入有人靠近的递水与展厅测试前,先通过第 1 阶段门槛。第 6 阶段的数据与离线训练可以并行开展;VLA 真机接入同样受此门槛约束。
05 / F1 HARNESS

把两边的积累,接成自己的执行体系

复用已跑通的工程部分,在同一身体接口上引入新的推理、记忆与学习能力。

草案 §7
KEEP / 保留现有能力

PAO 工程底座

工具契约与执行证据
RecoveryGuard · action_sequence
取消信号与语音对话轮次
ExternalProvider 扩展入口

ADAPT / 借鉴方法

RPent 的工作方式

Coding agent 组织工具与脚本
分层记忆与 inbox 草稿
任务复盘、证据与回放
成功轨迹回收与学习

INTEGRATE / 计划整合

F1 自己的 harness

模型抽象 · 受控脚本沙箱 · 白名单身体 API · 异步语音 · 共享黑板

计划实施

接入顺序:原语稳定 → 工具调用试点 → 脚本与记忆 → 验收对比 → 决定默认推理路径。

保留 PAO 的部分(已经在 F1 上跑通,不重写)

  • 身体工具的契约(f1-body/contracts.py),工具执行会生成证据记录(monitor_evidence、monitor.sqlite3)。
  • RecoveryGuard、取消(cancel_requested)、action_sequence 多步工具。
  • 和语音桥之间的对话轮次接口。
  • ExternalProvider 接口:它允许一个外部推理器替 PAO 的大模型做决定。第一步就利用它接入 coding agent,对 PAO 的改动最小。

从 RPent 借来的部分

  • 规划器是 coding agent。 它不只是一次调用一个工具,还可以:
    • 写一段 Python 脚本,里面带循环、条件和重试,脚本只能调用身体层 API;
    • 读写记忆文件;
    • 每次试验后复盘。
  • 记忆:分三层目录 global/、skill-family/、skill-specific/,外加一个 MEMORY.md 索引。探索时先写草稿进 inbox,成功经过证据和人工确认后才合并进去;执行前一定用当前观测重新定位。
  • 复盘与回放:每次任务都保存“计划 → 工具调用 → 证据 → 结果”。失败后自动写一份复盘,提出规则修改建议,人确认后写进 global/。
  • 数据飞轮(第 6 阶段):成功的轨迹进入训练集。

自己加的部分(这两个框架都没有)

  • 安全边界:coding agent 写的代码只能调用白名单里的身体层 API,不能直接发 ROS 话题。代码在沙箱里运行,每次运动都要先过反射层和第 1 阶段的护栏。
  • 和语音并行:显意识只在后台执行任务;豆包那边的四个工具都立即返回(见第 3 阶段)。

选模型

  • 首选 Claude,通过 Claude Agent SDK 调用,因为它在 coding agent 场景最成熟。
  • 备选 deepseek:先核实它有没有兼容 Anthropic 的接口,能不能直接接进 Agent SDK。另外,不管用哪个模型,harness 都要自己保留一层模型抽象,方便更换。
  • 断网时退到本地的 qwen2.5:7b,只处理简单意图,不写代码。

推进步骤

  1. 在第 2 阶段身体层原语稳定之后,用 ExternalProvider 接入一个 Agent SDK 推理器,先只做到“调用工具”这一层,和 deepseek 版 PAO 在同一组任务上比较。
  2. 加上“写脚本”能力和沙箱,再加上记忆目录和复盘。
  3. 等它在验收主路径上不比旧版差,就把它定为默认的显意识;PAO 的旧推理路径保留作回退。
  4. 等模型稳定后,再考虑要不要把 PAO 那几层过深的代码精简掉。

比较用的任务:固定点位拿水并递给人;中途打断;目标拿不到时的重试;把水放回原处。看四个指标:成功率、出错后能不能恢复、时延、改起来方不方便。

试点对比指标成功率失败恢复时延修改便利性
06 / ACCEPTANCE TARGETS

里程碑与验收目标

按草案映射验收;所有下列阈值都需要后续实现与实测。

草案 §2 / §4
阶段 1 · 目标
≤50 ms

推前臂时察觉
察觉时间,不是完整停止时间

阶段 3 · 目标
≤0.5 s

说“停”后动作停止
独立于云端处理停止词

阶段 3 · 目标
≤2 s

任务执行中回应
>1 s 时先提供填充语

阶段 4 · 目标
9/10 次

唤醒后转头成功
1 s 内,偏差 ≤20°

里程碑 内容 对应验收
M1 第 1 阶段安全门槛 + 第 2 阶段固定点位主路径 固定点位“拿水并递给人”
M2 再加上第 3、4 阶段:能说话、能打断、会转头 语音全程,固定点位
M3 再加上第 5 阶段的记忆和找水找人 位置不固定的完整验收(20 次至少成功 18 次)
M4 第 6 阶段的 VLA 作为备选执行器 泛化到更多物体
已有基线 · 草案记录满瓶连续 5/5

拆分技能时保持现有抓放能力不退化。

阶段 2 · 目标固定点位 10/10

主路径第 5–10 步,验证原语和取消行为。

M3 · 目标完整任务 ≥18/20

位置不固定,加入记忆以及找水、找人。

草案引用了 ACCEPTANCE_WATER.md 的条款。本次未取得该验收文件全文,页面按草案中的对应关系呈现。

07 / OWNERSHIP & DEPENDENCIES

三条线,加一个牵头

把实施职责、语音协作边界、硬件回复和训练资源放在同一处对齐。

草案 §3 / §5
线 负责阶段 需要的技能
身体与安全 第 1、2 阶段 ROS2、运动学和 IK、硬件联调
语音与拟人 第 3、4 阶段 实时音频、豆包协议、交互设计
数据与 VLA 第 6 阶段 遥操作采集、模型训练、TensorRT
牵头(显意识和框架) 第 3、5 阶段的约定、黑板、规划器对比 agent 框架、整体集成

需要决定或协调的五件事

  1. 按上面顺序推进吗?还是展厅另有截止日期,需要先把 M2 做成固定点位的演示版?
  2. 驱动开发的回复:谁去问,什么时候能回?
  3. 第 4 阶段接声源角度要动语音链路,由语音桥会话做,还是交给新的人?
  4. 第 6 阶段需要一台训练用 GPU(≥24 GB 显存),以及 6000d 上数据集的访问权限。
  5. 关停或调整 update-manager、face_ros2 这些高 CPU 进程,需要谁同意?
查看历史报告中的 6 个驱动问题 ↗
08 / RISKS & OPEN POINTS

保留风险,也保留待确认的边界

风险原文与当前仍需细化的口径,便于后续评审时定位。

草案 §6
  • 驱动层没有任何保护,而且电流反馈拿不到:反射层只能靠白名单和速度上限,展厅演示就要更保守(拉开距离、降速)。
  • 豆包没有异步工具调用,也没有 response.create:状态播报只能用固定文本,语气会比较生硬。缓解办法是写几套话术模板。
  • 拆分 grasp_trial.py 可能让现在的成功率下降:保留旧脚本作为基准,每拆一步就跑一次 5/5 回归。
  • 310 条数据只覆盖一种任务、一只手:VLA 试点的结论不能外推,要尽早补充多样化的数据。
草案中仍需对齐的三处口径阅读注记 · 原文不改
  1. 框架方向:§1 的“后续再定框架”与 §7 的“F1 harness 整合”存在前后措辞差异。本页按后者呈现当前方向,保留前者原文。
  2. 取消与恢复:已有取消信号、动作块边界停止、取消后安全收回分别属于不同层次;不能等同为所有保护触发后都自动收臂。
  3. 人距与递送:“0.6 m 内拒绝运动”与递物、取消后收回的适用边界仍需细化,包含测距参照、触发范围与安全恢复条件。

≤140 N、TCP ≤0.25 m/s、监控 ≥200 Hz、推理 ≤60 ms 等均按草案目标保留,不表示已满足安全标准或已测得相应性能。语音事件名称与模型兼容性仍需结合实际接口核验。

查看历史调研依据 ↓
ARCHIVE / RESEARCH BASIS

历史调研与实测依据

保留此前报告,便于追溯;当前推进方向见上方 2026-11-15 草案。

11.12 / 11.13
展开第一轮调研与只读实测报告研究报告 v0.1 · 2026.11.13
历史记录:以下是 2026-11-12/13 的调研、实测与当时建议。旧 A5 / E 及摘要中的方案不代表本次最终推进方向;当前计划以上方 11-15 草案为准。新草案提及第二轮调研,本次未提供其全文,因此未在此补写。
FIELD NOTES / RESEARCH REPORT

F1「Agent 当大脑」
分层架构调研报告

从任务规划到身体执行,梳理机器人智能体的技术参照、
F1 实测基础,以及面向展厅演示的落地路径。

第一轮调研 · v0.1初稿 2026.11.12补充 2026.11.13F1_D070 · ROS 2 Jazzy
01 / R
ARCHITECTURE RESEARCH
研究对象Jetson Thor + Marvin 双臂应用场景展厅演示

THE CURRENT DIRECTION / 当前建议

云端负责规划,本地承接执行与安全。

围绕展厅演示,优先推进拟人交互、流畅对话、可靠的固定流程。以现有原语打通任务闭环,再逐步加入本地 VLA 与数据学习。依据:报告 A5 / E。

INTERFACE层间接口

上层传意图,下层传动作

规划到技能使用语言子任务与工具调用;技能到执行使用动作块或关节目标,便于留日志与接入反馈。

EXECUTION已有基础

原语、语音与数据已具雏形

报告记录了既有抓放接口、语音播放打断和 LeRobot 数据。机器人动作抢占与本地降级仍需专门接通。

NEXT STEP关键依赖

先确认安全,再完善闭环

确认驱动保护和底盘避障状态;接出声源方向,整理示教数据;让每个技能返回可判断的执行结果。

本页根据所提供的报告整理。实测数据、引用与可信度标记均沿用原报告;本页未重新联网核验。架构图表示建议方案。

查看原报告的 7 项结论§ 0 · ORIGINAL

版本 v0.1 · 2026-11-12 · 适用机器人 F1_D070(Jetson Thor / ROS 2 Jazzy / 天机 Marvin 双臂) 可信度标记:✅ 已打开原文或官方页核实;⚠️ 只依据搜索摘要或二手资料,引用前请回原文确认;「查不到」表示本轮没有找到来源。

  1. 层间接口分两种,两种都用。 显意识和潜意识之间传语言子任务或工具调用(Hi Robot、Galaxea G0、Gemini Robotics 1.5、RoboOS、RPent 都这样做),好处是可解释、可打断、可留日志。潜意识和反射之间传动作块或 latent(Helix、GR00T、GO-1)。F1 现在的 pick_up / put_down 工具接口方向是对的。
  2. 频率大约每层差一个数量级。 Helix 是 S2 7–9 Hz、S1 200 Hz。GR00T N1.7 和 π0.5 在 Thor 上用 TensorRT 后约 25 Hz 出一个动作块。大模型规划在 0.1–1 Hz。
  3. “能被打断”需要专门设计。 本轮只找到 Hi Robot 一个系统明确用插话、纠正数据做了训练。对 F1 来说,更现实的做法是在工程上保证每个技能都可以抢占,并且在块边界安全停下。
  4. 和 F1 最接近的范式是 RPent / Harness VLA。 它用 Claude Code 做规划器,配少量可重试的原语和文件式记忆,记忆会反思、蒸馏,成功数据回流成数据飞轮。它不需要新增原语,提升来自“学会用好原语”。
  5. Thor 上可以本地跑 VLA。 π0.5 用 TRT FP8 约 54 ms,GR00T N1.7 用 NVFP4 约 40 ms,都有 NVIDIA 官方教程。每个任务大约需要 50–100 条遥操作示教。数据采集管线是关键路径。
  6. 拟人行为可以直接借鉴 Pepper Autonomous Life 和 Disney 的注视状态机。 做法是:常驻 idle 层,按声源方向转头,注视加习惯化,思考时移开视线,用点头或腰部微动代替表情回馈。
  7. 机器人实测(见 §B):
    • 手臂驱动层没找到碰撞检测,反射层要自己做;
    • Thor 的 GPU 几乎空闲,TensorRT 10.13 已装,但 CPU 负载偏高;
    • 讯飞能给唤醒角度,但语音链路没用上;打断功能已经有了;
    • 已有 310 条、约 6.3 小时的 LeRobot 格式 PICO 数据,只覆盖 1 个任务。

02 / SYSTEM DESIGN

让每一层各司其职

建议方案 · 点击层级,查看职责、接口与落地边界。

A5 + E
F1 分层架构语言意图 → 技能执行 → 状态反馈
L3显意识CLOUD / LOCAL规划 · 对话 · 处理新情况
L1反射层LOCAL / ALWAYS ON限幅 · 监控 · 看门狗 · 停止
共享
状态黑板
当前任务人在哪里手中物体语音状态
技能学习旁路记忆反思 → 流程沉淀 → 数据飞轮
L3 · PLANNING

显意识:理解任务,组织能力

大模型处理任务规划、对话与新情况,通过语言子任务或工具调用驱动下层。数值目标由感知工具提供。

  • 默认使用云端模型,规划本地兜底。
  • 将用户插话视为新的观测与任务变化。
  • 记录计划、调用与结果,支持回放。

当前边界:qwen2.5:7b 已安装;断网降级是建议架构,报告未说明已完成接入。

展开完整分层实现建议§ A5
层 借鉴 在 F1 上怎么实现
反射(毫秒级,永远生效) Franka 的工作空间限位加步长截断;Pepper 的安全开关;GR00T 和 Helix 都把安全放在模型外 保留现在“执行中监控”的流式下发(≤0.3°/40 ms),并加上:关节电流 / 跟踪误差超阈值就停(取决于 §B1 天机驱动能否提供);底盘急停和避障;一个独立进程看门狗,上层失联就停。不受大模型控制,也不能被它关闭。
潜意识·后台注意 Autonomous Life;Disney 四态加习惯化;Furhat attend;VAP 常驻 attention 节点:声源方向 → 转头 → 头部相机确认是人 → 进入 engage。idle 时腰部微动、头部扫视。说话时做小幅手势,被打断时立刻停下并看向用户。思考时移开视线,>1 s 先给填充语。和任务执行并行运行,以资源锁的方式让出头部。
潜意识·技能 RPent 可重试原语;RoboCasa 原语表;DoReMi 约束检查 维持少量原语:navigate_to / move_base / look_at / pick_up / put_down / hand_over。每个原语可抢占、幂等,返回结构化结果、证据和失败原因。中期再把接触阶段换成 VLA 原语(π0.5 / GR00T,在 Thor 本地跑)。
技能学习 Voyager 技能库;RPent 记忆蒸馏和飞轮;RECAP / LWD 第一步只学“怎么用原语”:markdown 记忆写下每个原语的成功条件和失败模式,每次试验后反思并写回。第二步把成功的复合流程固化成脚本技能。第三步用 PICO 示教加接管数据微调 VLA。
显意识 Hi Robot(插话即观测);Gemini ER 编排;RPent 用 Claude Code 当规划器 大模型只做规划、对话、处理新情况,不直接给数值,数值来自感知工具。规划结果用语言子任务或工具调用表达,并写进日志,以便回放。
层间协调 Helix 异步桥接;RoboOS 共享记忆;Hi Robot 抢占 用一个“黑板”共享世界状态(手里拿着什么、人在哪、当前任务、语音状态),各层都能读。显意识通过事件流常驻监听,可以取消当前技能,技能在动作块边界安全停下。语音模型的上下文里注入机器人状态摘要。

03 / ON-ROBOT OBSERVATIONS

F1 的真实起点

安全、算力、语音与已有数据:原报告中的只读实测记录。

B1 — B4
采集记录2026-11-13 09:37(原报告时间)·开机约 14 分钟·只读检查
310条
PICO 数据 episode
LeRobot v3.0
6.3小时
约 682,135 帧
录制频率 30 fps
27维
状态与动作维度
需核对训练单位与映射
1个
通用任务标签
具体任务需结合标注核验
驱动与安全 待确认

未找到驱动层碰撞保护接口

当前检查范围内未找到相关字段;PICO 上游已发现软件 CollisionGuard。驱动内部保护及底盘避障状态仍需向开发人员确认。

语音与交互 部分具备

已有播放打断,声源角度尚未接入

唤醒词与 ROS 接口可打断语音播放。讯飞 SDK 能提供角度,但报告检查的 duplex_demo 尚未使用该事件。

阅读边界:这里是一次设备快照。GPU 利用率不能代表持续运行余量;API 根地址的网络耗时不包含模型生成时间。B4 初读中未解析的维度,已由下方“B4 补充”进一步说明。

方法:先运行只读脚本 f1-probe-readonly.sh,原始输出在 f1-probe-result.txt;再手动补查几处。所有操作只有 ls、grep、ps、ros2 topic/param 读取,以及对 API 根地址的 curl。没有发任何运动指令,没有改配置,没有重启服务。

B1 安全:反射层的现状

  • 天机臂的驱动层碰撞检测:本轮没有找到。 motor_ctl 的启动参数里只看到 arm_impedance_type: 1。消息定义里有 SetImpedanceType 和 SetDragMode 两个服务,说明支持阻抗和拖动模式。但在参数和接口里都没有找到碰撞检测、力矩阈值或电流阈值之类的字段,日志里也没有碰撞相关的记录。下一步要查天机 SDK 文档,或者直接问厂商,确认 EtherCAT 驱动内部有没有跟踪误差或过流保护。
  • ~/cyb_safe_control_real 能否当反射层:不适合直接用。 它是一个 50 Hz 的命令过滤器:订阅 /hal/joint_states,用 MuJoCo 代理体预测质心投影和手臂与机身的最小距离,再把过滤后的命令发到 /motion_ctl/joint_ctl。另外,它的部分代码用 pyarmor 加了密,现在也没有在运行(ps 里看不到)。总的来说,它和之前导致抓取 0/7 的“运动前证明”是同一类做法。可以借用的是其中的自碰撞距离计算,拿来做执行中的监控。真正的反射层仍然要靠:步长截断、跟踪误差和电流监控、看门狗。
  • 底盘避障。 /move/State 的消息里有 is_avoid 和 avoid_points 两个字段(定义在 ~/zxl/src/move/msg/State.msg)。导航 action WalkToTargetPose 带 enable_avoid 参数。手动模式由 /steward 节点的参数 robot.manual_move.enable_avoid 控制,guide_robot 默认把它设为 true,手柄可以切换开关。不过 /steward 不在 Thor 的 ROS 图里(Node not found),应该是跑在底盘控制器上的。/move/State 在 4 秒内也没收到任何消息。所以 /move/ManualMoveCmd 下避障现在是不是开着,读不到。要确认,需要连上底盘那一侧,或者做一次低速运动实验。

B2 算力与云端延迟

  • 设备:Jetson AGX Thor Developer Kit,JetPack R38.4,驱动 580 / CUDA 13.0,TensorRT 10.13.3(已装,有 Python 包)。内存 122 GiB,已用 11 GiB;磁盘还剩 743 GB。
  • GPU 几乎空闲:利用率 1%,功耗 5 W。本地 ollama 装了 qwen2.5:7b,可以当断网时的备用模型。
  • CPU 负载偏高:load average 15.8,而 CPU 只有 11 核。占用较多的进程:
    • update-manager:98%,桌面的系统更新检查,可以关掉;
    • rebot-app-service:59%;
    • 头部相机容器:41%;
    • duplex_demo:17%;
    • motor_ctl:15%;
    • 手柄转发:14%;
    • 两路 realsense:9–11%。
  • 跑 VLA 主要看 GPU,余量很大。但 CPU 要先清理一下,否则相机解码和控制会和推理抢资源。
  • 云端往返延迟(单次 curl 测 API 根地址,只是网络层的大致数字):
    • deepseek:connect 82 ms,TLS 168 ms,总计 289 ms;
    • Anthropic:connect 479 ms,总计 571 ms。
    • 模型首个 token 的时间要另外再加。

B3 语音链路

  • 声源方向:硬件和 SDK 都能给,但 duplex_demo 没用上。 讯飞 AIUI 文档(~/xunfei/avvtn_Demo_llm/doc/README.md)写明会先发 wakeup 事件(不带角度),再发 wakeup_detail 事件(带 angle,例如 81°)。duplex_demo 的代码里搜不到 angle 或 wakeup_detail,说明角度现在被丢掉了。所以“转头看说话的人”第一步就是把这个角度接出来,发成一个 ROS topic。
  • 能否打断:可以。 main.py 里有完整的 interrupt_playback():唤醒词会强制打断;ROS 的 /tts_stop 和 /tts_say、导航、音量操作都会打断当前播放;还有 test_xunfei_interrupt.py 测试。对外的接口是 /tts_say、/tts_stop、/tts_state 和 /tts_language。
  • 能否把机器人状态放进对话上下文:目前只有静态的 system prompt(config.toml 里的 instructions,加上工具说明和视觉回答规则)。face_expression.py 里那个 context 只是日志用的。已经有 pao_bridge.py 把意图交给 PAO,这部分另一个会话正在做,这次没有动。要做到状态感知,需要在每轮对话开始前把一段“机器人状态摘要”注入进去,或者提供一个工具让模型自己查。

B4 PICO 遥操作数据

位置 内容 数量
~/meaxiao/pico/mocap_data/mm/mocap_data LeRobot v3.0 数据集,robot_type f1_omnipicker,30 fps。observation.state 和 action 都是 27 维 float32。三路视频:头部 720×1280、左右腕各 480×848。带多路时间戳和数据新鲜度字段(state_max_age_ns 等) 310 条 episode,682,135 帧(约 6.3 小时),1 个 task,共 13 GB;另有 backups 里的 3、5、18 条
~/meaxiao/pico-local-v144-validation 验证数据 428 MB
~/f1_tianji_teleop 天机遥操作,100 Hz 控制,用 ros2 bag(mcap)录制:关节、夹爪、TCP、三路压缩图像、/lead/joint_states data/all_data 是空的(8 KB)
~/lxl/XRoboToolkit-.../data 4 个 mcap 小样本 552 KB

结论:已经有一份可以直接用来微调 VLA 的数据集(LeRobot 格式,正好是 openpi 和 GR00T 接受的格式)。310 条超过了社区常用的 50–100 条,但只覆盖 1 个 task。按 A3 的经验,这么多条集中在一个任务上,有过拟合的风险,下一步应该扩充任务和场景的多样性。27 维 state 每一维对应什么,以及这个 task 具体是什么,本轮没读出来:机器人上的 pandas 缺少 pyarrow,读不了 parquet。

B4 补充:meaxiao 数据集细读(2026-11-13)

  • 采集系统:~/meaxiao/pico 的 v1.4.5 版,覆盖 PICO 双臂、俯仰躯干和全向底盘,用 LeRobot 格式录制。数据保存后会自动传到 6000d 服务器上的中央数据集,那边有一个需要登录的网页,可以复核数据、给每条打“四阶段”人工标注。机器人上这份最后写入时间是 2026-09-29。

  • 27 维的含义(info.json 的 names):左臂 7 维、右臂 7 维(单位是度);头 3 维、身体 5 维;左右夹爪各 1 维(0–100);底盘速度 vx、vy、yaw_rate 共 3 维。action 与 state 一一对应,是关节空间的目标值。

  • 实际在动的部分(stats.json 里各维的极差):

    • 右臂:各关节活动范围 31°–119°。
    • 右夹爪:0–100 全程开合。
    • 底盘:小幅移动,vx、vy 在 ±0.27 m/s 以内。
    • 左臂:每个关节活动不到 3.2°,基本没动。
    • 头:没动。
    • 身体:只有 body_j4、body_j5 有约 0.25° 的微动。

    所以这批数据实际上是右手单臂移动抓放。

  • 任务内容:语言标签只有一个通用的 “F1 PICO teleoperation”。我抽看了 3 条头部视频的帧:第 0 条在办公桌旁;第 150 条和第 300 条都是走向一张圆桌,桌上放着两个黑色小盒,看起来是“抓取或放置小盒”。每条到底做了什么、成功没有,要以 6000d 网页上的人工阶段标注为准,我没有访问 6000d。

  • 时长:每条 14–102 s,中位数约 72 s,对抓放来说偏长。里面可能有走过去、调整姿态的时间,也可能有空闲段。训练前需要按阶段标注切段。

  • 能否用来训练 VLA:格式可以直接用(openpi 和 GR00T 都支持 LeRobot)。有三个问题要注意:

    1. 没有语言指令,要补;
    2. 只有一种任务、一只手,需要扩充多样性;
    3. 关节单位是度,训练前要统一换算成弧度并做归一化。

    拿它先做一个 π0.5 或 GR00T 的“右手抓放小盒”试点是合适的。

  • 一个相关发现:PICO 遥操作栈自带 CollisionGuard。它在上游以 50 Hz 做模型包络检查,触发后打出 ARM_COLLISION_HOLD_LATCHED,对应的手臂会锁住保持。双臂速度上限是 30°/s。和 cyb_safe_control_real 一样,这是软件模型层的保护,不是驱动层的保护。


04 / FOUNDATION MODELS

双系统与分层机器人模型

围绕分工、通信、可打断性和 F1 适配,保留原报告完整对比。

A1
✅ 原报告标记:已核实⚠️ 原报告标记:待复核查不到:本轮未找到来源
研究对比 · 9 项宽表可左右滚动 →
名称 机构 / 时间 开源 快慢分工与频率 层间通信 能否中途打断 对 F1
Helix Figure AI,2025-02 否 S2:机载 VLM,7–9 Hz;S1:视觉运动策略,200 Hz,35 DoF(⚠️ 二手资料称 S2 约 7B、S1 约 80M) latent 向量,S1 每步读 S2 最新一次的 latent 查不到 拿不到模型,只能借鉴异步 latent 桥接的思路。链接
GR00T N1.6 / N1.7 NVIDIA,N1 发布于 2025-03,N1.6 和 N1.7 在之后陆续发布 是(Isaac-GR00T;N1.7 用 NVIDIA Open Model License,可商用) System 2:VLM(N1.6 用 Cosmos Reason);System 1:DiT 扩散动作头。N1.7 在 Thor 上 NVFP4 约 25 Hz ✅ 同一个模型内部通过 embedding 传递 查不到 原生支持 Thor,适配最顺。需要新建 Marvin 的 embodiment 定义并采数据微调,难度中等。repo · N1.6 · Thor 教程
π0.5 Physical Intelligence,2025-04 是(openpi) 同一个模型先预测语言子任务,再输出连续动作;可做 10–15 分钟的长程任务 语言子任务(模型内部) 查不到 可以用 openpi 微调,Thor 上有官方 TRT 流程(见 A3)。论文 · openpi
Hi Robot Physical Intelligence,2025-02(ICML 2025) 代码查不到 高层 VLM 解析指令和用户反馈;低层是 π0 语言原子指令 明确支持:训练时用合成的情境插话、纠正数据(例如“不要那个”) 可直接借鉴的是“插话也是一种观测”这一做法。arXiv · 页面
Gemini Robotics 1.5 / ER 1.5 Google DeepMind,2025-09-25 ER 1.5 有 API 预览;VLA 只对合作伙伴开放 ER 负责规划和编排,可以调用搜索等工具;VLA 把语言指令转成动作,执行前会“先想一步” 自然语言 查不到专门说明;⚠️ 模型页显示 ER 不支持 Live API ER 可以当云端慢系统,输出点位、框和计划。博客 · API
RoboBrain 2.0 / 2.5 + RoboOS 智源 BAAI,2025-05 / 2025-07 是(RoboBrain 32B 为 Apache-2.0;RoboOS 开源) 大脑(云端 VLM)负责任务分解和空间推理;小脑负责各机器人的技能;有共享记忆 子任务和技能调用(RoboOS 2.0 走 MCP) 有状态反馈,但没找到“人中途纠正”的机制 工程上好集成:可以把 ROS2 技能注册成 MCP 工具。RoboOS · RoboBrain2.0 · arXiv
AgiBot GO-1 智元,2025-03 发布,2025-09 开源 是(许可证 ⚠️ 未核实) ViLLA 架构:VLM(InternVL-2B)+ Latent Planner + 扩散动作专家 隐式动作 token 查不到 迁移到 Marvin 需要微调,难度中偏高。repo
Galaxea G0 星海图,2025-08/09 是,但 CC BY-NC-SA,不可商用 G0-VLM 慢思考出子任务;G0-VLA 快执行 语言子任务 查不到 Galaxea R1 也是双臂移动平台,数据结构可以参考。arXiv
银河通用 GraspVLA / NavFoM 银河通用 + 北大,2025-05 ⚠️ 二手资料称权重已放出 官方称“三层大模型体系”;分工的权威说明查不到 查不到 查不到 只能当单项抓取技能来评估。arXiv

启示

  • 显意识和潜意识之间用语言或工具调用,便于人插话纠正、留日志、回放。潜意识和反射之间用数值流(动作块、关节目标)。
  • 反射层在任何情况下都必须生效,不依赖上层。
  • 选型受许可证约束:G0 不能商用,Helix 和 Gemini VLA 拿不到。
05 / AGENT PLANNING

让 Agent 学会组织技能

规划、原语、失败反馈与记忆:哪些做法可以迁移到 F1。

A2
原报告的重点参照:RPent / Harness VLA。将动作能力包装为少量可重试的原语,上层规划器通过记忆、反思与结果反馈改善原语组合。F1 的 ROS 2 适配仍需自行实现。
规划与执行范式宽表可左右滚动 →
工作 机构 / 时间 开源 核心方法 对 F1 的启示
RPent / Harness VLA ✅ RLinf 组织(论文页没写机构);arXiv 2607.08448,v1 2026-07-09,v5 2026-09-24 是,Apache-2.0 把冻结的 VLA(π0.5 等)包装成可重试的接触原语,另有一小组解析原语(grounding / staging / transport / navigation / release)。规划器用 Claude Code / Codex(Agent SDK、pydantic-ai),配两级 markdown 记忆,加反思和蒸馏;成功轨迹用来微调 VLA,形成飞轮。报告结果:LIBERO-Pro 比最强基线高 38.6 分,RoboCasa365 高 25.4 分;飞轮把 RoboTwin 成功率从 48% 提到 72%(README) 范式和 F1 最接近。它没有 ROS2 和人形支持,需要自己写适配层。arXiv · repo
Code as Policies Google,2022 是 大模型生成调用感知和控制 API 的 Python 代码 带循环或条件的任务可以让规划器写脚本,脚本里调用原语。arXiv
ProgPrompt NVIDIA 等,2022 — 程序式提示,并加入 assert 前置条件 工具调用前检查前置条件,例如“手是空的”。arXiv
VoxPoser 斯坦福,2023 是 大模型写约束(3D 价值图),交给运动规划器优化 做精细操作时,让大模型输出约束,不直接输出轨迹。arXiv
RoboCodeX / MALMM 2024 ⚠️ 树状分解 / 多 agent(规划、编码、监督) 可以单独加一个“监督 agent”判断成败。RoboCodeX · MALMM
Voyager NVIDIA / Caltech,2023 是 自动课程 + 可执行代码技能库(按描述检索)+ 自我验证 把成功过的复合流程存成带描述的函数,作为技能沉淀的基础。arXiv
Inner Monologue / REFLECT / DoReMi / AHA Google 2022 / 哥大 2023 / 2023 / NVIDIA 2024 部分开源 把成功检测文本回灌;用多模态摘要定位失败;规划时同时生成约束,执行中持续检查;专门检测失败的 VLM 每个原语都返回结构化结果和证据(F1 的 held_and_lifted 已经是这个思路)。IM · REFLECT · DoReMi · AHA
ros-mcp-server robotmcp 是 通过 rosbridge 把 ROS 的 topic、service、action 暴露给 MCP 客户端 只暴露语义级工具,不暴露裸 topic;伺服控制留在 ROS 里。repo
Anthropic Project Fetch Anthropic,2025-11 / 2026-06 否 让 Claude 给 Unitree Go2 编程或控制它(⚠️ 二手报道对结论的转述互相矛盾,以原文为准) — 原文
06 / LEARNING & DATA

本地 VLA 与数据飞轮

推理性能参照、示教规模经验,以及从数据到技能的迭代方式。

A3
下表是外部 Thor 推理参考,并非本次 F1 本机测试。一次动作块推理的耗时,与机器人完整任务耗时、关节控制频率不同。示教条数为报告收集的经验值,不能作为通用训练门槛。

Thor 实测延迟(单次推理出一个动作块)

模型 后端 延迟 来源
π0.5 PyTorch BF16 ~132 ms ✅ Jetson AI Lab
π0.5 TRT FP8 / FP8+NVFP4 ~54 / ~49 ms。不能用纯 FP16,Gemma 注意力层会溢出 ✅ 同上
π0.5 / GR00T N1.6 FlashRT(社区) 40–45 ms(22–25 Hz) NVIDIA 论坛
GR00T N1.6 torch.compile ~105 ms ✅ 官方 repo
GR00T N1.7 TRT NVFP4 125 → 39.9 ms ✅ Jetson AI Lab
OpenVLA-OFT / SmolVLA / RDT — 查不到 Thor 实测 —

微调需要多少数据

  • openpi 社区实例:一个放方块任务用 72–100 条示教。PI 的 issue 报告,单任务 250 条会出现记忆化,说明多样性比条数重要(例)。
  • OpenVLA-OFT 在 ALOHA 上每个任务约 20–300 条(⚠️)。arXiv
  • ACT 约 50 条(⚠️)。
  • 一个 ALOHA Mobile 横向对比:arXiv 2511.11298。
  • PICO / VR 遥操作数据单独对比的结果查不到。

数据飞轮

  • π*0.6 / RECAP:示教 + 人工纠正 + 自主经验,用 offline RL 训练,最难的任务吞吐翻倍以上(博客 · arXiv)。
  • AgiBot LWD:机队部署,人工接管数据进入共享 replay,做 offline-to-online RL(页面)。
  • RPent:用成功轨迹微调 VLA(见 A2)。

对 F1 的建议

  • Thor 只做推理;微调放在工作站或云端。
  • 首选 π0.5(openpi,aloha 配置),备选 GR00T N1.7。
  • 每个任务先采 50–100 条 PICO 示教,存成 LeRobot 格式,并对齐时间戳。
  • 部署时允许 PICO 随时接管(HG-DAgger 式),接管片段打标签后回收。
结合 B4 补充:现有 LeRobot 数据仍需补语言指令、按阶段切段,并对齐关节单位与机器人映射。报告建议先尝试右手抓放小盒;具体任务与成功状态需以人工标注为准。
07 / HUMAN–ROBOT INTERACTION

让回应发生在动作里

声源转向、注视、倾听和思考反馈,作为展厅交互的常驻能力。

A4
非语言交互参照宽表可左右滚动 →
系统 / 研究 做法 对 F1(没有脸、能转头、有声源方向、有升降腰)
Pepper/NAO Autonomous Life(Aldebaran,闭源) 一个常开的“活着”层,包括:BasicAwareness(对声音、动作、触摸转头)、呼吸式微动、说话手势(SpeakingMovement)、倾听动作(ListeningMovement);带调试开关 整体照搬这套架构。 文档 · BasicAwareness
Disney Research 机器人注视(闭源) subsumption 分层:底层是呼吸、扫视、眨眼;上层是 read / glance / engage / acknowledge 四态;对刺激有习惯化,看久了兴趣下降 没有眼睛,就用头颈做扫视加习惯化。页面 · IEEE Spectrum
Ameca / Tritium(Engineered Arts,闭源) 动画师做关键帧,再叠加程序化动作;有 Python / REST API。具体注视算法查不到 可借鉴的是“关键帧库 + 程序叠加”的工作流。wiki
Furhat(闭源) Realtime API;attend(用户或位置) 抽象 接口可以设计成 attend(user_id | 方位角)。API
Moshi(Kyutai,开源) 双流全双工,实际延迟约 200 ms 主要支持英文,用来证明全双工延迟可以做到 200 ms 以下。arXiv
豆包 Seeduplex / 实时语音 3.0 原生全双工;官方称误打断减半(无第三方评测) F1 已经在用。要把“开始说 / 停止说 / 被打断”事件接到动作层。博客
VAP(KTH,开源) 预测话轮转换和回馈语时机 可在本地决定什么时候点头或说“嗯”。repo

可以当参数用的 HRI 结论

  • 用户最偏好约 1 s 的响应延迟,到 2 s 以后评分趋平;超时时先发填充语或动作(Shiwa 2008/09,⚠️ 只看到摘要)。
  • 人类话轮间隔很短(Stivers 2009)。
  • 固定的静音阈值会导致误判,建议用话轮模型判断(Skantze 2025)。
  • 对视 3–5 s 后移开(⚠️ 二手,来源)。
  • 时机恰当的移开视线会显得“在思考”,也能帮助调节话轮(Andrist 2014)。
  • 共同注意的量化结论查不到。

08 / NEXT ITERATION

下一轮,把关键依赖补齐

保留原报告的研究方向;将可协商的人力组织为三条工作线。

C + E
01

身体层与安全

建议工作线

确认驱动保护与避障状态,完善执行监控、技能接口、取消与结果反馈。

02

语音与拟人

建议工作线

接入声源角度与机器人状态,协调注意力、语音事件及身体资源。

03

数据与 VLA

建议工作线

复核阶段标注,完善数据语言与单位映射,启动小范围微调与验证。

来源:E 节建议每条线至少 1 人,显意识与 Agent 框架由牵头人负责。具体人员尚待协商。

  1. 移动操作:导航和操作如何衔接(RoboCasa、BEHAVIOR、TidyBot++、底盘加臂的全身协调),以及 F1 “先抬手再前移”的通用化。
  2. 全双工语音:豆包 Seeduplex / SeedRealtime 的事件接口;本地 VAP;状态注入和工具调用在实时语音里的做法;中文话轮数据。
  3. 人机协作安全:ISO 10218 / ISO/TS 15066 的功率与力限制;递物(handover)研究;协作臂的碰撞检测实现方式。
  4. 机器人记忆:情景记忆和语义记忆(如 ReMEmbR、KARMA)、空间场景图、RPent 的记忆蒸馏细节。
  5. 补核本轮所有标 ⚠️ 的条目。

准备好与驱动开发人员对齐的 6 个问题

碰撞与过流保护、状态反馈、阻抗模式、底盘避障,以及软件安全停止接口。

查看问题清单
09 / DECISION LOG

问题、答复与方案调整

保留方案形成过程:原始问题在前,2026-11-13 的答复与调整在后。

D + E
查看原始待答问题(后续答复见下方)§ D
  1. 能否长期依赖云端模型? 这决定显意识放在云端还是 Thor 本地(例如 RoboBrain 7B 或 Qwen-VL),以及断网时怎么降级。
  2. 使用场景是什么? 演示和展厅、家庭或办公、还是科研平台?这决定拟人行为的优先级,以及安全标准要做到多严。
  3. 团队规模和分工? 有几个人能做遥操作采数据、谁维护模型训练。这决定 VLA 路线是现在就启动还是先放一放。
  4. 选型时许可证是否需要可商用(会排除 G0 这类)?
  5. 能否联系天机厂商,确认驱动层有没有碰撞或过流保护?meaxiao 那 310 条数据是什么任务、谁采集的?

用户答复与据此调整 · 2026-11-13 · 沿用原报告记录
问题 答复 对架构的影响
能否长期依赖云端 可以,但本地更好 云端为主,本地兜底:显意识默认用云端大模型。本地常驻 qwen2.5:7b(已经装好),负责断网降级、简单意图和闲聊。反射层和潜意识层全部在本地运行。等 VLA 在 Thor 上跑起来,操作技能也放在本地。
使用场景 展厅演示 优先级调整为:拟人行为、对话流畅、可靠的固定流程,排在泛化能力前面。具体是:先接声源角度转头和 idle 微动;回应超过 1 s 时先给填充语;“拿水”用固化技能,保证成功率。人群环境里底盘避障必须开着,手臂速度要保守。展厅网络不一定可靠,本地兜底更重要。
团队规模 可以商量分配 建议分 3 条线,每条至少 1 人:① 身体层和安全(反射、技能);② 语音和拟人(注意力、对话);③ 数据和 VLA(采集、标注、微调)。显意识和 agent 框架由牵头人负责。
许可证 不太清楚,能用就行 解释:许可证规定了模型或代码能不能用于商业用途、能不能修改和再分发。比如 Galaxea G0 是 CC BY-NC-SA,禁止商用。展厅演示如果算公司的商业展示,就可能违反。建议默认选 Apache-2.0、MIT 或 NVIDIA Open Model License 这类允许商用的:openpi、GR00T、RoboBrain、RPent 都满足。拿不准时问公司法务。
驱动层保护 去问驱动开发人员 我联系不到他们,问题清单写在下面,由你转交。
meaxiao 数据 自己看 见 §B4 补充。

给驱动开发人员的问题(可以直接转发)

  1. 天机 Marvin 双臂的 EtherCAT 驱动或伺服里,有没有碰撞检测(基于电流、力矩或跟踪误差)?默认开没开?阈值在哪里配置?
  2. 有没有过流、过力矩、过温保护?触发以后是断使能、抱闸,还是只报错?
  3. motor_ctl 能不能把关节电流或力矩反馈和跟踪误差以 ROS topic 发出来?我们想自己做 500 Hz 以上的执行中监控。
  4. arm_impedance_type: 1 是什么模式?阻抗的 K/D 现在是多少?能不能在任务里动态调低刚度,比如递水给人的时候?
  5. 底盘的 /steward 节点跑在哪台控制器上?手动模式参数 robot.manual_move.enable_avoid 当前是什么值?/move/State 为什么在 Thor 上收不到消息?
  6. 有没有硬件急停之外、能从软件触发的安全停止接口?响应时间多少?