Twitter原文：

TacSL

一种用于视觉触觉传感器仿真和学习的库

讨论：https://huggingface.co/papers/2408.06506

对于人类和机器人来说，触觉（即触觉感知）在执行需要大量接触的操作任务中至关重要。机器人触觉感知的三大关键挑战是：1）解释传感器信号，2）在新情境中生成传感器信号，以及3）学习基于传感器的策略。对于视觉触觉传感器，由于其与视觉传感器（如RGB相机）的密切关系，解释变得更容易。然而，生成仍然很困难，因为视觉触觉传感器通常涉及接触、变形、照明和成像，所有这些都很难模拟；反过来，这使得策略学习变得具有挑战性，因为模拟无法用于大规模数据收集。我们介绍TacSL（taxel），一个用于GPU的视觉触觉传感器仿真和学习的库。TacSL可以在广泛使用的Isaac Gym模拟器中模拟视觉触觉图像并提取接触力分布，其速度是之前最先进技术的200倍以上。此外，TacSL提供了一个学习工具包，包含多个传感器模型、涉及大量接触的训练环境，以及可促进sim-to-real应用策略学习的在线/离线算法。在算法方面，我们引入了一种新颖的在线强化学习算法，称为非对称演员-评论家蒸馏（\sysName），设计用于有效地学习在模拟中能够转移到现实世界的基于触觉的策略。最后，我们通过评估蒸馏和多模态感知对大量接触操作任务的好处，特别是执行sim-to-real转移，展示了我们的库和算法的实用性。