RVT-2: Precisie manipulatie leren uit weinig demonstraties

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Auteurs: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Samenvatting

In dit werk onderzoeken we hoe een robotsysteem kan worden gebouwd dat meerdere 3D-manipulatietaken kan uitvoeren op basis van taal instructies. Om nuttig te zijn in industriële en huishoudelijke domeinen, moet zo'n systeem in staat zijn nieuwe taken te leren met weinig demonstraties en deze nauwkeurig op te lossen. Eerdere werken, zoals PerAct en RVT, hebben dit probleem bestudeerd, maar ze hebben vaak moeite met taken die hoge precisie vereisen. Wij onderzoeken hoe we deze systemen effectiever, preciezer en sneller kunnen maken. Door een combinatie van architectonische en systeemniveau verbeteringen, stellen we RVT-2 voor, een multitask 3D-manipulatiemodel dat 6x sneller traint en 2x sneller inferentie uitvoert dan zijn voorganger RVT. RVT-2 behaalt een nieuwe state-of-the-art op RLBench, waarbij het slagingspercentage wordt verbeterd van 65% naar 82%. RVT-2 is ook effectief in de echte wereld, waar het taken die hoge precisie vereisen, zoals het oppakken en inpluggen van stekkers, kan leren met slechts 10 demonstraties. Visuele resultaten, code en het getrainde model zijn beschikbaar op: https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.