RVT-2: Aprendizaje de Manipulación Precisa a partir de Pocas Demostraciones

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Autores: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Resumen

En este trabajo, estudiamos cómo construir un sistema robótico capaz de resolver múltiples tareas de manipulación 3D dadas instrucciones en lenguaje natural. Para ser útil en entornos industriales y domésticos, dicho sistema debería ser capaz de aprender nuevas tareas con pocas demostraciones y resolverlas con precisión. Trabajos previos, como PerAct y RVT, han abordado este problema, pero a menudo tienen dificultades con tareas que requieren alta precisión. Investigamos cómo hacerlos más efectivos, precisos y rápidos. Mediante una combinación de mejoras arquitectónicas y a nivel de sistema, proponemos RVT-2, un modelo de manipulación 3D multitarea que es 6 veces más rápido en entrenamiento y 2 veces más rápido en inferencia que su predecesor RVT. RVT-2 establece un nuevo estado del arte en RLBench, mejorando la tasa de éxito del 65% al 82%. RVT-2 también es efectivo en el mundo real, donde puede aprender tareas que requieren alta precisión, como recoger e insertar enchufes, con solo 10 demostraciones. Los resultados visuales, el código y el modelo entrenado se encuentran disponibles en: https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.