RVT: Transformador de Visão Robótica para Manipulação de Objetos 3D

RVT: Robotic View Transformer for 3D Object Manipulation

June 26, 2023

Autores: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox

cs.AI

Resumo

Para manipulação de objetos 3D, métodos que constroem uma representação 3D explícita apresentam desempenho superior em comparação com aqueles que dependem apenas de imagens de câmera. No entanto, o uso de representações 3D explícitas, como voxels, acarreta um alto custo computacional, afetando negativamente a escalabilidade. Neste trabalho, propomos o RVT, um transformador multiview para manipulação 3D que é tanto escalável quanto preciso. Algumas características-chave do RVT incluem um mecanismo de atenção para agregar informações entre diferentes visões e a re-renderização da entrada da câmera a partir de visões virtuais ao redor do espaço de trabalho do robô. Em simulações, observamos que um único modelo RVT funciona bem em 18 tarefas do RLBench com 249 variações de tarefas, alcançando um sucesso relativo 26% maior do que o método state-of-the-art existente (PerAct). Além disso, o RVT treina 36 vezes mais rápido que o PerAct para atingir o mesmo desempenho e alcança uma velocidade de inferência 2,3 vezes maior que a do PerAct. Adicionalmente, o RVT é capaz de realizar uma variedade de tarefas de manipulação no mundo real com apenas algumas demonstrações (sim10) por tarefa. Resultados visuais, código e o modelo treinado estão disponíveis em https://robotic-view-transformer.github.io/.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.