UniT : Représentation tactile unifiée pour l'apprentissage robotique

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Auteurs: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Résumé

UniT est une approche novatrice pour l'apprentissage de représentations tactiles, utilisant un VQVAE pour apprendre un espace latent compact et servir de représentation tactile. Il utilise des images tactiles obtenues à partir d'un objet simple unique pour entraîner la représentation avec transférabilité et généralisabilité. Cette représentation tactile peut être transférée en zero-shot à diverses tâches en aval, incluant des tâches de perception et l'apprentissage de politiques de manipulation. Notre évaluation sur une tâche d'estimation de pose 3D en main montre que UniT surpasse les méthodes existantes d'apprentissage de représentations visuelles et tactiles. De plus, l'efficacité d'UniT dans l'apprentissage de politiques est démontrée à travers trois tâches du monde réel impliquant des objets manipulés variés et des interactions complexes entre robot, objet et environnement. À travers des expérimentations approfondies, UniT se révèle être une méthode simple à entraîner, plug-and-play, mais largement efficace pour l'apprentissage de représentations tactiles. Pour plus de détails, veuillez consulter notre dépôt open-source https://github.com/ZhengtongXu/UniT et le site web du projet https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.