RVT: Robotic View Transformer für die 3D-Objektmanipulation

RVT: Robotic View Transformer for 3D Object Manipulation

June 26, 2023

Autoren: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox

cs.AI

Zusammenfassung

Für die Manipulation von 3D-Objekten erweisen sich Methoden, die eine explizite 3D-Darstellung aufbauen, als leistungsfähiger als solche, die sich ausschließlich auf Kamerabilder verlassen. Die Verwendung expliziter 3D-Darstellungen wie Voxel geht jedoch mit hohen Rechenkosten einher, was die Skalierbarkeit beeinträchtigt. In dieser Arbeit stellen wir RVT vor, einen Multi-View-Transformer für die 3D-Manipulation, der sowohl skalierbar als auch präzise ist. Zu den wesentlichen Merkmalen von RVT gehören ein Aufmerksamkeitsmechanismus zur Aggregation von Informationen über verschiedene Ansichten hinweg sowie das erneute Rendern der Kameraeingaben aus virtuellen Ansichten rund um den Arbeitsbereich des Roboters. In Simulationen zeigt sich, dass ein einzelnes RVT-Modell gut für 18 RLBench-Aufgaben mit 249 Aufgabenvarianten geeignet ist und dabei eine um 26 % höhere relative Erfolgsquote als die bestehende State-of-the-Art-Methode (PerAct) erzielt. Es trainiert außerdem 36-mal schneller als PerAct, um die gleiche Leistung zu erreichen, und bietet eine 2,3-fache Inferenzgeschwindigkeit im Vergleich zu PerAct. Darüber hinaus kann RVT eine Vielzahl von Manipulationsaufgaben in der realen Welt mit nur wenigen (sim10) Demonstrationen pro Aufgabe durchführen. Visuelle Ergebnisse, Code und das trainierte Modell sind unter https://robotic-view-transformer.github.io/ verfügbar.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.