UniT: Объединенное тактильное представление для обучения роботов

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Авторы: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Аннотация

UniT - это новый подход к обучению тактильного представления, использующий VQVAE для изучения компактного скрытого пространства и служащий в качестве тактильного представления. Он использует тактильные изображения, полученные с помощью единственного простого объекта, для обучения представления с возможностью передачи и обобщения. Это тактильное представление может быть передано на различные последующие задачи, включая задачи восприятия и обучение политики манипуляции без предварительного обучения. Наше сравнение на задаче оценки позы 3D в руке показывает, что UniT превосходит существующие методы обучения визуального и тактильного представлений. Кроме того, эффективность UniT в обучении политики продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-окружения. Через обширные эксперименты показано, что UniT является простым в обучении, готовым к использованию, но широко эффективным методом обучения тактильного представления. Дополнительные детали можно найти в нашем открытом репозитории https://github.com/ZhengtongXu/UniT и на веб-сайте проекта https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.