加州大学伯克利分校开发新数据增强算法 可以促进机器人之间的技能转移

盖世汽车讯 近年来，机器人专家开发了各种各样的系统，旨在解决不同的现实世界任务，如完成家务、递送包裹，或在指定环境中寻找目标物体。该领域的一个关键目标是，开发算法以支持在具有不同体型和特征的机器人之间可靠地转移特定技能。这将有助于快速训练机器人完成新任务，从而拓展其能力。

（图片来源：加州大学伯克利分校）

据外媒报道，加州大学伯克利分校（UC Berkeley）的研究人员开发出RoVi-Aug。这是一种新的计算框架，旨在增强机器人数据并促进不同机器人之间实现技能转移。该研究发表在预印本服务器arXiv上。该方法利用先进的生成模型来增强图像数据，并为不同的机器人创建具有不同摄像视图的合成视觉任务演示。

研究人员表示，“当代机器学习系统成果表现出卓越的泛化能力，特别是生成模型，并激励研究人员探索如何在机器人技术中实现类似的泛化能力。自今年年初以来，我们一直在研究跨视点和跨机器人泛化的问题。”

在之前进行研究时，研究人员发现了在不同机器人之间进行学习泛化的一些挑战。具体来说，他们发现当机器人数据集中包含的场景分布不均匀时，例如其中特定机器人视觉效果和摄像角度占主导地位，这使得它们在向不同机器人教授相同技能时效果较差。

有趣的是，研究人员发现，许多现有机器人训练数据集具有不平衡性，包括一些最完善的数据集。例如，即使是Open-X Embodiment数据集（OXE，一个广泛用于训练机器人算法的数据集，其中包含不同机器人完成不同任务的演示），其中一些机器人的数据也更多，例如Franka和xArm机械手。

数据集的这种偏差，使机器人策略模型倾向于过度拟合特定的机器人类型和视点。研究人员表示：“为了缓解这一问题，2024年2月，我们提出了一种测试时间适应算法Mirage。该算法通过交叉绘制（cross-painting），在训练期间将看不见的目标机器人转化为能看见的源机器人，从而创建源机器人在测试时执行任务的假象。”

根据发现，研究人员在之前论文中介绍的Mirage算法，可以实现将技能零样本转移到看不见的目标机器人。尽管如此，该模型仍存在各种局限性。首先，为了更好地工作，Mirage需要精确的机器人模型和摄像头矩阵。此外，该算法不支持微调机器人策略，仅限于处理摄像头位姿变化较少的图像，容易在图像深度重投影中时出现错误。

研究人员表示：“在最新工作中，我们提出了一种名为RoVi-Aug的替代算法。该算法旨在增强训练期间的策略稳健性和泛化性以克服Mirage的局限性，专注于处理不同的机器人视觉效果和摄像头位姿，而不是依赖于测试时间交叉绘制方法，对已知的摄像头位姿和机器人URDF（统一机器人描述格式）进行严格的假设。”

新型机器人数据增强框架RoVi-Aug基于先进的扩散模型。这些计算模型可以增强机器人的轨迹图像，生成从不同角度观看不同机器人完成任务的合成图像。

（图片来源：加州大学伯克利分校）

研究人员使用框架来构建包含广泛的合成机器人演示的数据集，然后在该数据集上训练机器人策略。这反过来又允许将技能转移给以前没有接触过演示任务的新机器人，这被称为零样本学习。

值得一提的，该机器人策略还可以进行微调，以针对特定任务实现更好的性能。此外，相对于该团队之前提出的Mirage模型，这一新算法允许摄像头位姿剧烈变化。研究人员表示：“不同于类似于Mirage的测试时间适应方法，RoVi-Aug在实施时不需要进行额外处理，无需提前知道摄像头角度，而且支持策略微调。它还超越了传统的多机器人、多任务数据集协同训练，积极鼓励该模型学习跨数据集的全系列机器人和技能。”

RoVi-Aug模型具有两个不同的组件，即机器人增强（Ro-Aug）和视点增强（Vi-Aug）模块。其中第一个组件用于合成不同机器人系统的演示数据，而第二个组件可以生成从不同角度观看的演示。

研究人员表示：“Ro-Aug具有两个关键特点：一个是通过微调SAM模型来分割机器人，另一个是通过微调ControlNet，用不同的机器人取代原来的机器人。同时，Vi-Aug利用先进的新视图合成模型ZeroNVS来生成新的场景视角，从而使模型能够适应各种摄像头视点。”

作为这项研究的一部分，研究人员使用他们的模型来生成增强机器人数据集，接着测试该数据集在不同机器人之间训练策略和转移技能的效率。初步发现突显了Rovi-Aug的潜力，该算法能够训练出跨不同机器人和摄像头设置的良好泛化策略。

研究人员表示：“关键创新在于实施不同的生成模型，例如图像到图像（image-to-image）生成和新颖的视图合成，以应对跨实体机器人学习的挑战。之前的研究通过生成增强来提高面对分散注意力的物体和背景时的策略稳健性，而RoVi-Aug首次展示了这种方法如何促进不同机器人之间的技能转移。”

研究人员表示，他们最近的研究成果有益于机器人技术的发展，可以帮助机器人研究人员轻松拓展系统技能集。未来，其他团队可利用该成果在不同机器人之间转移技能，或开发更有效的多用途机器人策略。“举例来说，想象一下这样的场景：一位研究人员花费大量精力收来集数据并训练让Franka机器人执行任务的策略，而你只有一台UR5机器人。RoVi-Aug让人们可以重新利用Franka数据，并在UR5机器人上部署策略，而无需额外进行训练。这特别有用处，因为机器人策略通常对摄像头视点变化很敏感，并且在不同的机器人上设置相同的摄像头角度具有挑战性。RoVi-Aug消除了对这种精确设置的需要。”

由于在现实世界中收集大量的机器人演示可能非常昂贵且耗时，RoVi-Aug可能成为经济高效的替代方案，可用于轻松构建可靠的机器人训练数据集。虽然该数据集内的图像是合成的（例如通过AI生成），但它们仍然可用于制定可靠的机器人策略。目前，研究人员正与丰田研究实验室（Toyota Research Labs）等机构的人员合作，将这种方法应用并扩展至其他机器人数据集。

研究人员表示：“现在的目标是结合生成建模技术的最新进展以进一步完善RoVi-Aug，例如用视频生成代替图像生成。我们还计划将RoVi-Aug用于OXE等现有数据集。我们很高兴看到，基于这些数据训练的通才机器人策略具有提升性能的潜力。扩展RoVi-Aug的功能，可以明显提高这些策略在更广泛的机器人和任务中的灵活性和稳健性。”