RVT: Transformador de Visión Robótica para la Manipulación de Objetos 3D

RVT: Robotic View Transformer for 3D Object Manipulation

June 26, 2023

Autores: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox

cs.AI

Resumen

Para la manipulación de objetos 3D, los métodos que construyen una representación 3D explícita obtienen mejores resultados que aquellos que dependen únicamente de imágenes de cámara. Sin embargo, el uso de representaciones 3D explícitas, como los vóxeles, implica un alto costo computacional, lo que afecta negativamente la escalabilidad. En este trabajo, proponemos RVT, un transformador de múltiples vistas para la manipulación 3D que es tanto escalable como preciso. Algunas características clave de RVT incluyen un mecanismo de atención para agregar información entre vistas y la re-renderización de la entrada de la cámara desde vistas virtuales alrededor del espacio de trabajo del robot. En simulaciones, encontramos que un único modelo RVT funciona bien en 18 tareas de RLBench con 249 variaciones de tareas, logrando un 26% más de éxito relativo que el método actual más avanzado (PerAct). Además, entrena 36 veces más rápido que PerAct para alcanzar el mismo rendimiento y logra una velocidad de inferencia 2.3 veces mayor que PerAct. Además, RVT puede realizar una variedad de tareas de manipulación en el mundo real con solo unas pocas (sim10) demostraciones por tarea. Los resultados visuales, el código y el modelo entrenado se proporcionan en https://robotic-view-transformer.github.io/.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.