UniT: Rappresentazione Tattile Unificata per l'Apprendimento Robotico

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Autori: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Abstract

UniT rappresenta un approccio innovativo all'apprendimento di rappresentazioni tattili, utilizzando VQVAE per apprendere uno spazio latente compatto e fungere da rappresentazione tattile. Sfrutta immagini tattili ottenute da un singolo oggetto semplice per addestrare la rappresentazione con trasferibilità e generalizzabilità. Questa rappresentazione tattile può essere trasferita in modalità zero-shot a varie attività downstream, inclusi compiti di percezione e apprendimento di politiche di manipolazione. Le nostre valutazioni su un compito di stima della posa 3D in mano dimostrano che UniT supera i metodi esistenti di apprendimento di rappresentazioni visive e tattili. Inoltre, l'efficacia di UniT nell'apprendimento di politiche è dimostrata in tre compiti del mondo reale che coinvolgono oggetti manipolati diversi e interazioni complesse tra robot, oggetto e ambiente. Attraverso un'ampia sperimentazione, UniT si dimostra un metodo semplice da addestrare, plug-and-play, ma ampiamente efficace per l'apprendimento di rappresentazioni tattili. Per maggiori dettagli, si rimanda al nostro repository open-source https://github.com/ZhengtongXu/UniT e al sito web del progetto https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.