RVT-2 : Apprentissage de manipulations précises à partir de quelques démonstrations

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Auteurs: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Résumé

Dans ce travail, nous étudions comment construire un système robotique capable de résoudre plusieurs tâches de manipulation 3D à partir d'instructions en langage naturel. Pour être utile dans les domaines industriels et domestiques, un tel système doit être capable d'apprendre de nouvelles tâches avec peu de démonstrations et de les résoudre avec précision. Les travaux précédents, comme PerAct et RVT, ont abordé ce problème, mais ils rencontrent souvent des difficultés avec les tâches nécessitant une grande précision. Nous étudions comment les rendre plus efficaces, précis et rapides. En combinant des améliorations architecturales et systémiques, nous proposons RVT-2, un modèle de manipulation 3D multitâche qui est 6 fois plus rapide à l'entraînement et 2 fois plus rapide en inférence que son prédécesseur RVT. RVT-2 établit un nouvel état de l'art sur RLBench, améliorant le taux de réussite de 65 % à 82 %. RVT-2 est également efficace dans le monde réel, où il peut apprendre des tâches nécessitant une grande précision, comme ramasser et insérer des fiches, avec seulement 10 démonstrations. Les résultats visuels, le code et le modèle entraîné sont disponibles à l'adresse suivante : https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.