RVT-2: Обучение точной манипуляции по нескольким демонстрациям

RVT-2: Learning Precise Manipulation from Few Demonstrations

June 12, 2024

Авторы: Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

cs.AI

Аннотация

В данной работе мы изучаем, как создать робототехническую систему, способную решать несколько задач трехмерной манипуляции по инструкциям на естественном языке. Для применения в промышленных и домашних областях такая система должна уметь изучать новые задачи по минимальному числу демонстраций и точно их решать. Предыдущие работы, такие как PerAct и RVT, изучали эту проблему, однако часто испытывали затруднения с задачами, требующими высокой точности. Мы исследуем, как сделать их более эффективными, точными и быстрыми. Используя комбинацию архитектурных и системных улучшений, мы предлагаем RVT-2, модель трехмерной манипуляции с множеством задач, которая обучается в 6 раз быстрее и работает в 2 раза быстрее на этапе вывода, чем ее предшественник RVT. RVT-2 достигает нового современного уровня на RLBench, улучшая показатель успешности с 65% до 82%. RVT-2 также эффективен в реальном мире, где он может изучать задачи, требующие высокой точности, например, захват и вставку штекеров, всего с 10 демонстрациями. Визуальные результаты, код и обученная модель предоставлены по ссылке: https://robotic-view-transformer-2.github.io/.

English

In this work, we study how to build a robotic system that can solve multiple 3D manipulation tasks given language instructions. To be useful in industrial and household domains, such a system should be capable of learning new tasks with few demonstrations and solving them precisely. Prior works, like PerAct and RVT, have studied this problem, however, they often struggle with tasks requiring high precision. We study how to make them more effective, precise, and fast. Using a combination of architectural and system-level improvements, we propose RVT-2, a multitask 3D manipulation model that is 6X faster in training and 2X faster in inference than its predecessor RVT. RVT-2 achieves a new state-of-the-art on RLBench, improving the success rate from 65% to 82%. RVT-2 is also effective in the real world, where it can learn tasks requiring high precision, like picking up and inserting plugs, with just 10 demonstrations. Visual results, code, and trained model are provided at: https://robotic-view-transformer-2.github.io/.