UniT: Representação Tátil Unificada para Aprendizado de Robôs

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Autores: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Resumo

UniT é uma abordagem inovadora para aprendizado de representação tátil, utilizando VQVAE para aprender um espaço latente compacto e servir como a representação tátil. Ele utiliza imagens táteis obtidas de um único objeto simples para treinar a representação com transferibilidade e generalização. Essa representação tátil pode ser transferida de forma zero-shot para várias tarefas subsequentes, incluindo tarefas de percepção e aprendizado de políticas de manipulação. Nossa avaliação em uma tarefa de estimativa de pose 3D em mãos mostra que o UniT supera os métodos existentes de aprendizado de representação visual e tátil. Além disso, a eficácia do UniT no aprendizado de políticas é demonstrada em três tarefas do mundo real envolvendo objetos manipulados diversos e interações complexas entre robôs, objetos e ambientes. Através de experimentação extensiva, o UniT é mostrado como um método simples de treinar, pronto para uso, porém amplamente eficaz para aprendizado de representação tátil. Para mais detalhes, consulte nosso repositório de código aberto em https://github.com/ZhengtongXu/UniT e o site do projeto em https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.