RVT: Trasformatore di Vista Robotica per la Manipolazione di Oggetti 3D

RVT: Robotic View Transformer for 3D Object Manipulation

June 26, 2023

Autori: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox

cs.AI

Abstract

Per la manipolazione di oggetti 3D, i metodi che costruiscono una rappresentazione 3D esplicita ottengono risultati migliori rispetto a quelli che si basano esclusivamente su immagini della telecamera. Tuttavia, l'uso di rappresentazioni 3D esplicite come i voxel comporta un elevato costo computazionale, influenzando negativamente la scalabilità. In questo lavoro, proponiamo RVT, un trasformatore multi-vista per la manipolazione 3D che è sia scalabile che accurato. Alcune caratteristiche chiave di RVT sono un meccanismo di attenzione per aggregare le informazioni tra le diverse viste e il re-rendering dell'input della telecamera da viste virtuali intorno allo spazio di lavoro del robot. Nelle simulazioni, abbiamo riscontrato che un singolo modello RVT funziona bene su 18 task di RLBench con 249 variazioni di task, raggiungendo un successo relativo del 26% superiore rispetto al metodo all'avanguardia esistente (PerAct). Inoltre, RVT si allena 36 volte più velocemente di PerAct per ottenere le stesse prestazioni e raggiunge una velocità di inferenza 2,3 volte superiore rispetto a PerAct. Inoltre, RVT è in grado di eseguire una varietà di task di manipolazione nel mondo reale con solo poche dimostrazioni (sim10) per task. Risultati visivi, codice e modello addestrato sono disponibili all'indirizzo https://robotic-view-transformer.github.io/.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.