RVT: Robotic View Transformer voor 3D-objectmanipulatie

RVT: Robotic View Transformer for 3D Object Manipulation

June 26, 2023

Auteurs: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox

cs.AI

Samenvatting

Voor 3D-objectmanipulatie presteren methoden die een expliciete 3D-representatie bouwen beter dan methoden die alleen vertrouwen op camerabeelden. Het gebruik van expliciete 3D-representaties zoals voxels brengt echter hoge rekenkosten met zich mee, wat de schaalbaarheid nadelig beïnvloedt. In dit werk stellen we RVT voor, een multi-view transformer voor 3D-manipulatie die zowel schaalbaar als nauwkeurig is. Enkele belangrijke kenmerken van RVT zijn een aandachtmechanisme om informatie over verschillende views te aggregeren en het opnieuw renderen van de camerainvoer vanuit virtuele views rond de werkruimte van de robot. In simulaties blijkt dat een enkel RVT-model goed presteert over 18 RLBench-taken met 249 taakvariaties, waarbij het een 26% hoger relatief succes behaalt dan de bestaande state-of-the-art methode (PerAct). Het traint ook 36x sneller dan PerAct om dezelfde prestaties te bereiken en behaalt een 2,3x hogere inferentiesnelheid dan PerAct. Bovendien kan RVT een verscheidenheid aan manipulatietaken in de echte wereld uitvoeren met slechts enkele (sim10) demonstraties per taak. Visuele resultaten, code en het getrainde model zijn beschikbaar op https://robotic-view-transformer.github.io/.

English

For 3D object manipulation, methods that build an explicit 3D representation perform better than those relying only on camera images. But using explicit 3D representations like voxels comes at large computing cost, adversely affecting scalability. In this work, we propose RVT, a multi-view transformer for 3D manipulation that is both scalable and accurate. Some key features of RVT are an attention mechanism to aggregate information across views and re-rendering of the camera input from virtual views around the robot workspace. In simulations, we find that a single RVT model works well across 18 RLBench tasks with 249 task variations, achieving 26% higher relative success than the existing state-of-the-art method (PerAct). It also trains 36X faster than PerAct for achieving the same performance and achieves 2.3X the inference speed of PerAct. Further, RVT can perform a variety of manipulation tasks in the real world with just a few (sim10) demonstrations per task. Visual results, code, and trained model are provided at https://robotic-view-transformer.github.io/.