UniT: Representación Táctil Unificada para el Aprendizaje de Robots

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Autores: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Resumen

UniT es un enfoque novedoso para el aprendizaje de representaciones táctiles, utilizando VQVAE para aprender un espacio latente compacto y servir como la representación táctil. Utiliza imágenes táctiles obtenidas de un único objeto simple para entrenar la representación con transferibilidad y generalizabilidad. Esta representación táctil puede transferirse de manera "zero-shot" a varias tareas posteriores, incluyendo tareas de percepción y aprendizaje de políticas de manipulación. Nuestro análisis comparativo en una tarea de estimación de postura 3D en la mano muestra que UniT supera a los métodos existentes de aprendizaje de representaciones visuales y táctiles. Además, la efectividad de UniT en el aprendizaje de políticas se demuestra en tres tareas del mundo real que involucran objetos manipulados diversos e interacciones complejas entre robots, objetos y el entorno. A través de experimentación extensiva, se muestra que UniT es un método simple de entrenar, listo para usar, pero ampliamente efectivo para el aprendizaje de representaciones táctiles. Para más detalles, por favor consulte nuestro repositorio de código abierto en https://github.com/ZhengtongXu/UniT y el sitio web del proyecto en https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.