RVT-2: Präzises Manipulieren lernen aus wenigen Demonstrationen

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Autoren: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir, wie ein robotisches System entwickelt werden kann, das mehrere 3D-Manipulationsaufgaben anhand sprachlicher Anweisungen lösen kann. Um in industriellen und häuslichen Bereichen nützlich zu sein, sollte ein solches System in der Lage sein, neue Aufgaben mit wenigen Demonstrationen zu erlernen und präzise zu lösen. Frühere Arbeiten wie PerAct und RVT haben dieses Problem untersucht, jedoch haben sie oft Schwierigkeiten mit Aufgaben, die hohe Präzision erfordern. Wir untersuchen, wie wir sie effektiver, präziser und schneller machen können. Unter Verwendung einer Kombination von architektonischen und systematischen Verbesserungen schlagen wir RVT-2 vor, ein Multitask-3D-Manipulationsmodell, das im Training 6-mal schneller und in der Inferenz 2-mal schneller ist als sein Vorgänger RVT. RVT-2 erreicht einen neuen Stand der Technik auf RLBench und verbessert die Erfolgsquote von 65 % auf 82 %. RVT-2 ist auch in der realen Welt effektiv, wo es Aufgaben erlernen kann, die hohe Präzision erfordern, wie das Aufnehmen und Einsetzen von Steckern, mit nur 10 Demonstrationen. Visuelle Ergebnisse, Code und trainiertes Modell sind verfügbar unter: https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.