UniT: Uniforme Tactiele Representatie voor Robotleren

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Auteurs: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Samenvatting

UniT is een nieuwe benadering voor het leren van tactiele representaties, waarbij VQVAE wordt gebruikt om een compacte latente ruimte te leren en als tactiele representatie te dienen. Het maakt gebruik van tactiele afbeeldingen die zijn verkregen van een enkel eenvoudig object om de representatie te trainen met overdraagbaarheid en generaliseerbaarheid. Deze tactiele representatie kan zonder aanpassing worden overgedragen naar verschillende downstream taken, waaronder perceptietaken en het leren van manipulatiebeleid. Onze benchmark op een in-hand 3D-pose-schattingstaak toont aan dat UniT bestaande methoden voor visuele en tactiele representatieleer overtreft. Daarnaast wordt de effectiviteit van UniT in beleidsleren aangetoond in drie real-world taken met diverse gemanipuleerde objecten en complexe robot-object-omgeving interacties. Door uitgebreide experimenten wordt aangetoond dat UniT een eenvoudig te trainen, plug-and-play, maar breed effectieve methode is voor het leren van tactiele representaties. Voor meer details verwijzen wij naar onze open-source repository https://github.com/ZhengtongXu/UniT en de projectwebsite https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.