Microduck Workshop
GitHub ↗

SELF-PACED WORKSHOP

从手工流程到智能机器人

看懂传统自主射门的流程与实际效果,再思考:哪些判断可以交给能学习、推理与复用经验的模型?

第 6 章 · 预计学习时长 15 分钟

传统方法怎样完成射门

前面我们获得了行走、轮滑和踢球等运动技能。要把它们组成完整任务,还需要决定看哪里、往哪里移动、何时触球、失败后怎么办。本章只看流程和效果,不需要安装、运行代码或手算站位。

左右滑动查看完整图示

人设计判断流程,已有策略执行运动。观察: 相机、ToF、IMU → 定位与规划: 找到球、球门与接近路线 → 对齐与执行: 调用行走、踢球或轮滑技能 → 检查结果: 进球、跌倒、停车与恢复观察相机、ToF、IMU定位与规划找到球、球门与接近路线对齐与执行调用行走、踢球或轮滑技能检查结果进球、跌倒、停车与恢复人设计判断流程,已有策略执行运动。观察: 相机、ToF、IMU → 定位与规划: 找到球、球门与接近路线 → 对齐与执行: 调用行走、踢球或轮滑技能 → 检查结果: 进球、跌倒、停车与恢复观察相机、ToF、IMU定位与规划找到球、球门与接近路线对齐与执行调用行走、踢球或轮滑技能检查结果进球、跌倒、停车与恢复
人设计判断流程,已有策略执行运动。

传统方法用相机投影和坐标变换把图像中的目标联系到机器人身体,再根据“球后站位、朝向球门”这样的任务先验生成接近目标。相关公式解决的是位置和方向的换算,本章不展开推导。步行分支使用 ROS 2 Nav2/Navfn 规划与自有跟踪控制;轮滑分支使用视觉反馈。Isaac ROS 可以提供可集成的感知能力,但当前射门实验没有运行 Isaac ROS 包。

观看步行射门

真实步行开发示例,保留观察、反复对齐、踢球与恢复的完整过程。第三视角按原物理记录重渲染,右上角为同步的原相机画面;单次成功不代表可靠率。

低头再调整的循环是真实控制行为。记录中有多次短转向,转向后要停稳并重新获得近处球的有效观测;朝向误差变化又会触发下一轮。改善连续观测、转向制动和进入/退出阈值的迟滞,有望减少往返切换,但需要配对物理测试确认。本章保留原速完整过程,不用剪辑把尚未解决的问题藏起来。

观看轮滑碰球

轮滑开发示例:6.79 秒真实触球、8.13 秒整球越线,随后在门前停稳。初始化到结束保持轮滑模式,没有切换踢腿。第三视角重渲染与原相机同步。

两种动作的决策规则不同。轮滑要控制接近速度和制动,步行要满足踢球策略的进入姿态。换一个任务时,工程师还要重新设计这些衔接条件。

效果:成功演示与独立测试分开看

新 10 cm 足球场景独立完整任务实际观察
步行射门0/4均未跌倒,失败发生在观测或交接阶段
轮滑射门1/4;进球 2/4有进球后停车失败,也有门柱定位未完成

每组四次、每种地面一个预定新种子,样式和种子同时改变,因此不能据此证明某种地面造成失败。检测器的测试 mAP50 已达到 0.978,完整任务仍不稳定:认出目标、估计几何、完成动作是不同的问题。旧场景成绩不混入这里。

让机器人学习动作,也学习组织任务

手工流程的优点是可解释、容易逐步检查;代价是人需要理解任务,安排步骤、阈值与失败恢复。面对“把球送到另一端”“绕过椅子再射门”等新要求,维护成本会继续增加。我们希望把更多经验放进可学习的策略和可复用的技能,而不是为每个任务重新编排全部细节。

左右滑动查看完整图示

接下来的三章分别回答“怎么动、怎么组织任务、怎么覆盖变化”。GR00T: 从图像、语言与示范学习动作 → ASPIRE: 尝试、诊断、改写程序、积累技能 → Cosmos + Isaac: 扩展数据,构建场景并验证泛化GR00T从图像、语言与示范学习动作ASPIRE尝试、诊断、改写程序、积累技能Cosmos + Isaac扩展数据,构建场景并验证泛化接下来的三章分别回答“怎么动、怎么组织任务、怎么覆盖变化”。GR00T: 从图像、语言与示范学习动作 → ASPIRE: 尝试、诊断、改写程序、积累技能 → Cosmos + Isaac: 扩展数据,构建场景并验证泛化GR00T从图像、语言与示范学习动作ASPIRE尝试、诊断、改写程序、积累技能Cosmos + Isaac扩展数据,构建场景并验证泛化
接下来的三章分别回答“怎么动、怎么组织任务、怎么覆盖变化”。

大模型可以减少逐任务手写决策的负担,但仍需要机器人动作接口、基础运动能力和结果检查。下面讲的是接入方法与已核查的接口;尚未把 GR00T 或 ASPIRE 的 Microduck 射门结果写成已完成实验。

参考资料