로봇 학습을 위한 통합된 촉각 표현(UniT)

UniT: Unified Tactile Representation for Robot Learning

August 12, 2024

저자: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

cs.AI

초록

UniT은 새로운 접촉 표현 학습 방법으로, VQVAE를 사용하여 조밀한 잠재 공간을 학습하고 접촉 표현으로 작용합니다. 이는 단일 단순 물체에서 얻은 촉각 이미지를 사용하여 전이 가능성과 일반화성을 갖는 표현을 학습합니다. 이 촉각 표현은 인식 작업 및 조작 정책 학습을 포함한 다양한 하류 작업으로 제로샷 전이될 수 있습니다. 손에 들고 있는 3D 자세 추정 작업에서의 벤치마킹 결과는 UniT이 기존의 시각적 및 촉각적 표현 학습 방법을 능가함을 보여줍니다. 또한 UniT의 정책 학습 효과는 다양한 조작 대상 물체 및 복잡한 로봇-물체-환경 상호작용을 포함하는 세 가지 실제 세계 작업에서 입증되었습니다. 광범위한 실험을 통해 UniT은 촉각 표현 학습을 위한 간단하고 훈련하기 쉬우면서도 효과적인 방법임이 입증되었습니다. 자세한 내용은 저희의 오픈 소스 저장소 https://github.com/ZhengtongXu/UniT 및 프로젝트 웹사이트 https://zhengtongxu.github.io/unifiedtactile.github.io/를 참조해주시기 바랍니다.

English

UniT is a novel approach to tactile representation learning, using VQVAE to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with transferability and generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarking on an in-hand 3D pose estimation task shows that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unifiedtactile.github.io/.