腾讯机器人实验室开发出新框架 使四足机器人能够像动物一样敏捷地移动

盖世汽车讯 四足动物天生就具有敏捷和适应性强的运动能力，因此能够在各种地形上移动。在过去的几十年里，世界各地的机器人专家一直在尝试在四足机器人中有效地重现这些动作。

通过强化学习训练的计算模型在实现四足机器人敏捷运动方面取得了特别有希望的结果。然而，这些模型通常是在模拟环境中训练的，当它们应用于现实环境中的真实机器人时，性能有时会下降。

实现敏捷四足运动的替代方法是利用运动传感器和摄像机收集的动物运动镜头作为演示，用于训练控制器（即执行机器人运动的算法）。这种被称为“模仿学习”的方法能够在某些四足机器人中重现类似动物的动作。

图片来源：期刊《Nature Machine Intelligence》

据外媒报道，中国腾讯机器人实验室（Robotics X）的研究人员最近推出新的分层框架，可以促进四足机器人执行类似动物的敏捷动作。该框架相关论文已发表于期刊《Nature Machine Intelligence》，论文表示该框架最初应用于名为MAX的四足机器人，并取得了非常有希望的结果。

“人们已经做出了许多努力，希望通过经典控制器或强化学习方法实现四足机器人的敏捷运动，”腾讯Robotics X实验室高级研究员韩磊、朱庆旭及其同事在论文中写道。“这些方法通常依赖于物理模型或手工制作的奖励来准确描述特定系统，而不是像动物那样依赖于广义的理解。我们提出了一个分层框架来构建原始、环境和战略层面的知识，这些知识对于有腿机器人来说都是可预先训练、可重复使用和可丰富的。”

研究人员提出的新框架涵盖了强化学习的三个阶段，每个阶段都侧重于提取不同级别的运动任务和机器人感知的知识。该团队在每个学习阶段的控制器分别称为原始运动控制器（PMC）、环境原始运动控制器（EPMC）和战略环境原始运动控制器（SEPMC）。

研究人员写道：“原始模块总结了动物运动数据中的知识，在语言和图像理解方面，我们受到大型预训练模型的启发，引入了深度生成模型来产生运动控制信号，刺激有腿机器人像真实动物一样行动。然后，我们通过重复使用原始模块，在更高层次上塑造各种穿越能力，以与环境保持一致。最后训练一个战略模块，通过重复使用以前级别的知识，专注于复杂的下游任务。”

研究人员在一系列实验中对提出的框架进行评估，并将其应用于一个名为MAX的四足机器人。具体来说，两个MAX机器人被制造出来参加一场类似标签的游戏，并使用该框架来控制它们的动作。

“我们将经过训练的分层控制器应用于MAX机器人，这是一种内部开发的四足机器人，可以模仿动物、穿越复杂的障碍物，并参与设计好的、具有挑战性的多智能体追逐游戏，机器人会表现出栩栩如生的敏捷性和策略性，”该团队写道。

在初步测试中，研究人员发现，他们的模型使MAX机器人能够成功穿越不同的环境，做出类似于动物的敏捷动作。未来，该模型可以进行调整并应用于其他四足机器人，从而有可能促进它们在现实环境中的部署。