SELF-PACED WORKSHOP
让 GR00T 从示范中学习射门
从 SO-101 sim2real 的数据流程出发，理解视觉—语言—动作模型如何适配 Microduck，以及微调前必须准备什么。
用目标与示范表达任务
给机器人一句“把球送进球门”，再提供成功完成任务的示范，是另一种表达任务的方法。视觉—语言—动作模型（VLA）根据相机图像、任务指令和机器人状态预测接下来的一段动作。许多原来分散在“看球、调整、前进”规则里的经验，可以由数据学习。
左右滑动查看完整图示
“预测动作”与“规划整项任务”相关，但并不相同。GR00T 的动作段不是一条已经避开所有障碍的全局路径；较长任务还需要目标管理、检查与恢复。下一章再讨论如何让智能体组织这些能力。
使用当前公开的 GR00T N1.7
截至 2026 年 10 月 26 日，官方仓库当前公开版本为 GR00T N1.7，基础模型标识为 nvidia/GR00T-N1.7-3B。它使用 Cosmos-Reason2-2B / Qwen3-VL 视觉语言骨干与动作生成头；这不等于已把后文的 Cosmos 3 接进同一个模型。官方提供自定义机器人数据微调与策略服务接口。
Microduck 尚不是我们已经验证的预训练机器人。SO-101 的六维机械臂动作、GR00T 的通用张量容量和 Microduck 的十四个受控关节，不能按“维数差不多”直接互换。需要明确每个动作的物理含义、单位、频率、归一化和控制器接口。
从 SO-101 课程迁移什么
机械臂 sim2real 课程的关键链路可以复用：遥操作采集同步图像、状态与动作，整理成 LeRobot 数据，微调 GR00T，在仿真和实物上分别评测。课程还改变光照、机器人颜色和垫子等外观，帮助策略适应观察差异。这里迁移的是数据与评测方法，不是直接把试管抓取权重当成足球策略。
| SO-101 经验 | Microduck 中的对应问题 |
|---|---|
| 相机与关节同步记录 | 保留机身运动、头部视线与动作时间 |
| 示范抓取、放置与恢复 | 示范接近、碰球/踢球、制动与恢复 |
| 仿真与真机分开评测 | 先验证新场景，再做实机镜头和动力学标定 |
| 外观随机化 | 覆盖不同家庭光照、背景和地面 |
先定义模型能控制什么
较稳妥的第一条研究路线，是保留已有行走与轮滑策略，让学习模型输出有界的身体运动与视线请求，减少手写“观察—对齐—推进”的阶段切换。步行和轮滑的指令含义不同，应使用独立配置或显式模式条件；轮滑射门仍从开始到结束保持轮滑。踢球技能的触发可以由上层决定，不能把一个连续数值直接当成没有验证的离散技能切换。
另一条路线是学习关节动作，但它同时承担平衡与接触控制，数据与验证成本更高。N1.7 的官方新机器人示例允许配置非末端执行器动作，因此接口并非只能用于机械臂；然而能定义字段，并不证明十四关节足球策略已学会。当前优先验证分层接口，再决定训练目标。
什么样的示范才有用
左右滑动查看完整图示
现有日志可提供仿真中记录的图像、关节状态、惯性观测和实际执行动作，但单个成功回合远远不够。成功、失败和人工修正应保留明确标签；普通模仿学习不能把失败动作一概当作正确目标。必须区分策略原始输出、经过头部控制覆盖后的实际动作，以及电机真正执行的目标。
头部相机会随机器人运动，图像与动作有不同采样率。应按照时间对齐并记录观测年龄，避免拿未来画面解释过去动作。来自同一回合的相邻帧不能分别放入训练集与测试集；想验证陌生家庭场景，最好把整个房间或布局留作测试。
接入可行性与下一次实验
官方新机器人配置、数据格式与策略接口已核查。已有轮滑记录中的 163 帧相机图像与关节状态能在同一时刻关联到 652 条动作中的对应条目；其中 97 条动作经过执行端修正，训练标签不能直接使用原始网络输出。本次检查的是 163 个单步对应关系；相机实际记录频率为 12.5 Hz，动作频率为 50 Hz。CPU 检查通过了官方输入形状检查及额外的时序、维度检查，尚未验证多步动作段，也没有加载 N1.7 权重、运行推理或微调。记录还需要补任务语言、动作转换配置与 LeRobot 数据导出，才能进入训练。
这次检查采用 14 维低层动作记录来验证数据字段；前面建议的高层速度与技能接口仍需单独采集标签、实现执行桥。两条路线不能互相冒充。基础视觉骨干有模型访问要求，后续训练应使用与现有 Newton 仿真分开的环境。详见接口检查范围与尚缺条件。
下一次实验先固定一种运动方式和一个短距离任务，采集覆盖成功与恢复的示范，再按新起点和新房间评测。对照组使用同一机器人、道具、传感器与成功标准，分别记录进球、跌倒、停稳和观察次数。只有这样，才能判断学习策略是否真正减少反复调整。