UniT: Vereinheitlichte taktile Darstellung für das Lernen von Robotern

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

Autoren: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

Zusammenfassung

UniT ist ein neuartiger Ansatz zum Erlernen taktiler Repräsentationen, der VQVAE verwendet, um einen kompakten latenten Raum zu erlernen und als taktile Repräsentation zu dienen. Es nutzt taktile Bilder, die von einem einzigen einfachen Objekt erhalten wurden, um die Repräsentation mit Übertragbarkeit und Verallgemeinerbarkeit zu trainieren. Diese taktile Repräsentation kann ohne vorheriges Training auf verschiedene nachgelagerte Aufgaben übertragen werden, einschließlich Wahrnehmungsaufgaben und Politiklernen für Manipulationen. Unsere Bewertung in einer Aufgabe zur 3D-Positionsschätzung in der Hand zeigt, dass UniT bestehende Methoden des visuellen und taktilen Repräsentationslernens übertrifft. Darüber hinaus wird die Wirksamkeit von UniT im Politiklernen anhand von drei realen Aufgaben mit verschiedenen manipulierten Objekten und komplexen Interaktionen zwischen Roboter, Objekt und Umgebung demonstriert. Durch umfangreiche Experimente wird gezeigt, dass UniT eine einfach zu trainierende, Plug-and-Play, aber weitreichend effektive Methode für das taktile Repräsentationslernen ist. Für weitere Details verweisen wir auf unser Open-Source-Repository unter https://github.com/ZhengtongXu/UniT und die Projektwebsite unter https://zhengtongxu.github.io/unifiedtactile.github.io/.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.