Microduck Workshop
GitHub ↗

SELF-PACED WORKSHOP

用 ASPIRE 组织任务并积累技能

让大模型提出方案、调用技能、检查反馈并修正程序;理解它与 GR00T、Agnes Harness 的关系。

第 8 章 · 预计学习时长 25 分钟

聪明的大脑需要可执行的身体接口

“先绕过椅子,再把球送进球门”同时包含目标理解、子任务安排和运动执行。大模型可以提出并调整任务计划;机器人控制器仍需要连续保持平衡和处理接触。这里的“完整路径”包括高层行动顺序,也可能需要几何避障路线,二者不能只用一段自然语言代替。

左右滑动查看完整图示

把推理、技能执行和反馈连接起来,而不是让语言模型逐周期控制电机。任务智能体: 理解目标,选择下一步 → 技能接口: 观察、移动、触球、停止 → 动作策略: GR00T 或已有运动策略 → 结果反馈: 图像、进度、失败与实际完成判据任务智能体理解目标,选择下一步技能接口观察、移动、触球、停止动作策略GR00T 或已有运动策略结果反馈图像、进度、失败与实际完成判据把推理、技能执行和反馈连接起来,而不是让语言模型逐周期控制电机。任务智能体: 理解目标,选择下一步 → 技能接口: 观察、移动、触球、停止 → 动作策略: GR00T 或已有运动策略 → 结果反馈: 图像、进度、失败与实际完成判据任务智能体理解目标,选择下一步技能接口观察、移动、触球、停止动作策略GR00T 或已有运动策略结果反馈图像、进度、失败与实际完成判据
把推理、技能执行和反馈连接起来,而不是让语言模型逐周期控制电机。

ASPIRE:把尝试变成可复用经验

ASPIRE 的核心是代码形式的策略:智能体生成控制程序,执行后读取多模态记录,定位失败、修改程序,再把验证过的经验整理进技能库。这里的学习主要是程序与技能知识的迭代,不必每次都更新神经网络权重。当前官方公开的是 2026 年 10 月的 v1.0 工作流,包含迭代调试与演化搜索。

左右滑动查看完整图示

通过真实执行反馈修正方案,验证后才复用。提出方案: 检索已有技能,生成程序 → 执行与观察: 记录相机、动作、状态和结果 → 诊断与修正: 找到失败环节,修改下一次尝试 → 保留经验: 经开发验证后加入技能库提出方案检索已有技能,生成程序执行与观察记录相机、动作、状态和结果诊断与修正找到失败环节,修改下一次尝试保留经验经开发验证后加入技能库通过真实执行反馈修正方案,验证后才复用。提出方案: 检索已有技能,生成程序 → 执行与观察: 记录相机、动作、状态和结果 → 诊断与修正: 找到失败环节,修改下一次尝试 → 保留经验: 经开发验证后加入技能库提出方案检索已有技能,生成程序执行与观察记录相机、动作、状态和结果诊断与修正找到失败环节,修改下一次尝试保留经验经开发验证后加入技能库
通过真实执行反馈修正方案,验证后才复用。

例如,机器人在白色地面上找不到门柱底端,智能体可以检查原图与失败原因,尝试另一观察角度或改进感知接口。它不能只因为程序没有报错就宣告进球,也不能更改门线判定来让实验通过。积累的是经过检验的方法,而不是对失败的文字解释。

怎样接到 Microduck

需要的接口可以复用的基础仍需补齐
观测RGB、ToF、IMU 与关节记录统一时间、坐标含义与观测有效期
动作步行、轮滑、踢球及停止能力有界调用、超时、取消与模式语义
结果真实接触、越线、跌倒和恢复评分向智能体提供可诊断反馈,保留独立评分
技能库已有控制与失败分析经验新的程序经过陌生起点/场景验证再复用

官方示例主要面向 LIBERO-Pro、Robosuite、BEHAVIOR-1K 与所列真实机械臂系统;当前没有本课程可直接使用的 Microduck 适配器。不能将机械臂末端位置控制替换成小鸭子的关节名字就宣布接通。我们可以复用 ASPIRE 的探索和技能库方法,同时为 Newton 环境实现机身运动与足球任务接口。

扩展:Agnes Harness 值得怎样看

比较项ASPIREAgnes Harness
重点通过机器人执行反馈改进程序与技能连接模型、工具、任务状态与设备
经验复用经过验证的机器人技能库Skills、会话与执行记录
当前定位机器人任务探索与研究工作流开发预览阶段的通用智能体框架
本课程选择作为任务智能体主线作为设备接入和框架设计的扩展阅读

两者存在共同概念,但并非同一个产品的替代名字。Agnes 的 MHS 设备接入与插件机制值得研究;当前公开主分支没有找到可直接复用的 Microduck 适配器。本课程暂不为它单独增加完整章节,避免重复讲智能体循环。

可以参考这段 Microduck 社区演示,并关注它开放了哪些动作工具、如何判断完成、失败时如何恢复。该视频页面目前无法在资料核查环境读取,未独立核实其实现和自主程度,也未把它计作本课程实验结果。

可行,但需要桥接与独立验证

接入评估的结论是:ASPIRE 的方法和开放接口有接入价值;Microduck 执行桥、任务技能库与自动探索回合尚未完成。下一次先实现最小的“观察—有界移动—停止—检查”闭环,再接入射门。保留开发种子与独立测试种子,限制每轮尝试预算,记录成功率、恢复次数与模型调用开销。

参考资料