RVT-2: Aprendendo Manipulação Precisa a Partir de Poucas Demonstrações

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Autores: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Resumo

Neste trabalho, estudamos como construir um sistema robótico capaz de resolver múltiplas tarefas de manipulação 3D a partir de instruções em linguagem natural. Para ser útil em ambientes industriais e domésticos, tal sistema deve ser capaz de aprender novas tarefas com poucas demonstrações e resolvê-las com precisão. Trabalhos anteriores, como PerAct e RVT, já abordaram esse problema, mas frequentemente enfrentam dificuldades em tarefas que exigem alta precisão. Investigamos como torná-los mais eficazes, precisos e rápidos. Utilizando uma combinação de melhorias arquitetônicas e em nível de sistema, propomos o RVT-2, um modelo de manipulação 3D multitarefa que é 6 vezes mais rápido no treinamento e 2 vezes mais rápido na inferência em comparação com seu antecessor, o RVT. O RVT-2 estabelece um novo estado da arte no RLBench, aumentando a taxa de sucesso de 65% para 82%. O RVT-2 também se mostra eficaz no mundo real, onde consegue aprender tarefas que exigem alta precisão, como pegar e inserir plugues, com apenas 10 demonstrações. Resultados visuais, código e o modelo treinado estão disponíveis em: https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.