SELF-PACED WORKSHOP
用 Cosmos 与 Isaac 覆盖不同家庭环境
把光照、地面和布局变化转成数据与评测设计，区分世界模型、物理仿真和多任务编排的职责。
换一个家，机器人会遇到什么变化
这类变化值得训练时考虑。相同的球在暖光、逆光和阴影下可能很不一样；白墙、地砖纹理和桌椅会改变目标背景；狭窄通道改变接近路线，地毯或光滑地面则改变运动与制动。视觉泛化、空间规划和动力学适应需要分别处理，不能只给球场换一张贴图。
| 变化 | 主要影响 | 合适的验证方式 |
|---|---|---|
| 光照、颜色、背景 | 图像识别与视觉动作策略 | 保持几何与动作一致，测试新外观 |
| 家具布局、遮挡、起点 | 观察策略与接近路线 | 新布局中的闭环任务与碰撞检查 |
| 摩擦、轮胎、球质量、时延 | 真实接触、推进与制动 | 物理参数范围与实机测量 |
| 任务指令与目标 | 任务理解与技能选择 | 多种表达和独立任务组合 |
Cosmos 3 能提供什么
Cosmos 3 是当前公开的多模态世界模型家族，统一处理语言、图像、视频、音频与动作。官方提供 Reasoner、Generator 以及专门的策略与仿真变体，可以用于理解场景、生成候选情境或研究动作与未来状态的关系。它不只是“给视频换背景”的工具。
对 Microduck，最直接的切入点是扩充视觉训练数据与分析失败场景。例如保留机器人、球门和球的位置，用更丰富的房间外观生成候选数据，再筛查目标形状、遮挡和时间连续性。对需要深度、分割等空间控制的生成流程，也应按实际接口比较 Cosmos-Transfer2.5 等专用模型，而不只看版本编号。
生成了一段看似进球的视频，不等于得到真实可执行的机器人动作。只有在动作标签与图像、状态和时间仍一致时，数据才适合模仿学习；球变大、门柱移动或接触时刻改变，都可能让原动作标签失效。Cosmos 的策略与动作建模能力也需要对应机器人数据适配，不能直接把 DROID 等具身变体称为 Microduck 策略。
谁负责生成，谁负责物理与训练
左右滑动查看完整图示
Cosmos 也有世界仿真与策略变体，但本课程仍用 Newton 记录触球、进球与停车的物理证据。OSMO 负责工作流编排；它不会自动把互不兼容的机器人动作空间变成一个通用训练目标。
机器人 × 场景 × 任务：Isaac Lab-Arena
多机器人、多场景、多任务的组合，更直接对应 Isaac Lab-Arena。它把环境拆成 Scene（场景）、Embodiment（机器人、传感器与动作）和 Task（任务与完成判据），再组装为 Isaac Lab 环境。可以组织多种布局、机器人和任务的评测，也可把环境注册到学习与数据生成流程。截至 2026 年 10 月 26 日核查的 main 对应 Isaac Lab 3.0 / Isaac Sim 6.2，属于仍在演进的早期版本；不能与 release/0.3.1 分支的依赖混用。
Arena 已有 GR00T 等策略客户端，也有 Cosmos 相关适配；支持选择 Newton。Microduck 仍需补自己的具身、足球任务和动作契约。不同机器人的组合必须满足任务能力要求；多环境并行评测，也不自动等于训练了一个能控制所有机器人的统一模型。
试着规划一组评测
这只是组合计数器，不启动仿真或训练。取消一项表示固定为一种条件。
轮滑与步行是同一机器人上的两种模式，这里分别评测，不能把它们算成两种实体机器人。组合数只是实验设计规模，不代表这些实验已经运行，也不代表所有组合都合理。
怎样判断随机化真正有帮助
先保留一个无新增随机化的对照，再分别加入外观变化、布局变化和有实测依据的动力学变化；控制示范数量、训练预算与评测标准。把陌生房间、布局或部分组合留到最终测试，避免模型只记住生成场景。不要在看到失败后重跑到成功再替换记录。
指标不只看检测分数：还看完整进球与停稳、跌倒、路径碰撞、观察循环次数和完成时间。现有实验提示几何提取与制动也存在瓶颈；视觉随机化可能改善观察，却不会自动修复停车控制。先按失败类型补数据或改接口，再扩大训练。
下一步：先做可比较的小实验
先选择一种运动方式，固定官方 10 cm 足球与球门；使用两种足球地面、大理石和木地板，增加可控光照，再加入少量室内布局。球门材质保持固定。完成仿真传感器与实际执行动作记录的对齐后，再选择 GR00T 微调、ASPIRE 技能探索或 Cosmos 数据扩展中的一条作为首个实验，避免同时改变所有因素。
课程已核查方法、接口与已有记录字段，并给出组合设计；尚未执行新的 GR00T、ASPIRE、Cosmos 或 Arena 训练/控制实验。下一阶段以独立闭环结果决定是否扩大数据和算力投入。