RVT: Трансформер роботизированного зрения для манипуляции 3D-объектами
RVT: Robotic View Transformer for 3D Object Manipulation
June 26, 2023
Авторы: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox
cs.AI
Аннотация
Для манипуляции с 3D-объектами методы, которые строят явное 3D-представление, работают лучше, чем те, которые полагаются только на изображения с камер. Однако использование явных 3D-представлений, таких как воксели, связано с высокими вычислительными затратами, что негативно сказывается на масштабируемости. В данной работе мы предлагаем RVT, многовидовой трансформер для 3D-манипуляции, который является одновременно масштабируемым и точным. Ключевыми особенностями RVT являются механизм внимания для агрегирования информации между видами и повторное рендеринг входных данных с камеры с виртуальных видов вокруг рабочей области робота. В симуляциях мы обнаружили, что одна модель RVT хорошо работает на 18 задачах RLBench с 249 вариациями задач, достигая на 26% более высокого относительного успеха, чем существующий передовой метод (PerAct). Она также обучается в 36 раз быстрее, чем PerAct, для достижения той же производительности, и обеспечивает скорость вывода в 2,3 раза выше, чем у PerAct. Кроме того, RVT может выполнять различные задачи манипуляции в реальном мире всего с несколькими (sim10) демонстрациями на задачу. Визуальные результаты, код и обученная модель доступны по адресу https://robotic-view-transformer.github.io/.
English
For 3D object manipulation, methods that build an explicit 3D representation
perform better than those relying only on camera images. But using explicit 3D
representations like voxels comes at large computing cost, adversely affecting
scalability. In this work, we propose RVT, a multi-view transformer for 3D
manipulation that is both scalable and accurate. Some key features of RVT are
an attention mechanism to aggregate information across views and re-rendering
of the camera input from virtual views around the robot workspace. In
simulations, we find that a single RVT model works well across 18 RLBench tasks
with 249 task variations, achieving 26% higher relative success than the
existing state-of-the-art method (PerAct). It also trains 36X faster than
PerAct for achieving the same performance and achieves 2.3X the inference speed
of PerAct. Further, RVT can perform a variety of manipulation tasks in the real
world with just a few (sim10) demonstrations per task. Visual results, code,
and trained model are provided at https://robotic-view-transformer.github.io/.