机器人看机器人做
使用单目4D重建模仿关节对象操作
人类可以通过简单地观察他人来学习操作新对象；如果为机器人提供从这种演示中学习的能力，将为指定新行为提供一种自然界面。本文开发了机器人看机器人做（RSRD），一种从单目RGB人类演示和单个静态多视图对象扫描学习模仿关节对象操作的方法。我们首先提出了4D可微分部分模型（4D-DPM），这是一种通过单目视频和可微分渲染恢复3D部分运动的方法。这种通过分析合成的方法使用基于部分的特征场在迭代优化中，使得使用几何正则化器来仅从单个视频中恢复3D运动成为可能。给定这种4D重建，机器人通过计划双手臂运动来复制对象轨迹，从而诱导演示的对象部分运动。通过将演示表示为基于部分的轨迹，RSRD专注于复制演示的预期行为，同时考虑机器人的自身形态限制，而不是试图复制手的运动。我们在具有真实标注的3D部分轨迹的地面实况上评估了4D-DPM的3D跟踪精度，并在双臂YuMi机器人上对9个对象进行每个对象10次试验，以评估RSRD的物理执行性能。RSRD的每个阶段平均达到87%的成功率，总的端到端成功率在90次试验中达到60%。值得注意的是，这是仅使用从大规模预训练视觉模型中提取的特征场实现的——没有任何特定任务的训练、微调、数据集收集或标注。
