RVT : Transformateur de Vue Robotique pour la Manipulation d'Objets 3D
RVT: Robotic View Transformer for 3D Object Manipulation
June 26, 2023
Auteurs: Ankit Goyal, Jie Xu, Yijie Guo, Valts Blukis, Yu-Wei Chao, Dieter Fox
cs.AI
Résumé
Pour la manipulation d'objets 3D, les méthodes qui construisent une représentation 3D explicite surpassent celles qui reposent uniquement sur des images de caméra. Cependant, l'utilisation de représentations 3D explicites comme les voxels entraîne un coût de calcul élevé, affectant négativement l'évolutivité. Dans ce travail, nous proposons RVT, un transformeur multi-vues pour la manipulation 3D qui est à la fois évolutif et précis. Parmi les caractéristiques clés de RVT figurent un mécanisme d'attention pour agréger les informations à travers les vues et le ré-rendu de l'entrée de la caméra à partir de vues virtuelles autour de l'espace de travail du robot. Dans les simulations, nous constatons qu'un seul modèle RVT fonctionne bien sur 18 tâches RLBench avec 249 variations de tâches, atteignant un taux de réussite relatif 26 % plus élevé que la méthode actuelle de pointe (PerAct). Il s'entraîne également 36 fois plus vite que PerAct pour atteindre les mêmes performances et offre une vitesse d'inférence 2,3 fois supérieure à celle de PerAct. De plus, RVT peut effectuer une variété de tâches de manipulation dans le monde réel avec seulement quelques démonstrations (sim10) par tâche. Les résultats visuels, le code et le modèle entraîné sont disponibles à l'adresse https://robotic-view-transformer.github.io/.
English
For 3D object manipulation, methods that build an explicit 3D representation
perform better than those relying only on camera images. But using explicit 3D
representations like voxels comes at large computing cost, adversely affecting
scalability. In this work, we propose RVT, a multi-view transformer for 3D
manipulation that is both scalable and accurate. Some key features of RVT are
an attention mechanism to aggregate information across views and re-rendering
of the camera input from virtual views around the robot workspace. In
simulations, we find that a single RVT model works well across 18 RLBench tasks
with 249 task variations, achieving 26% higher relative success than the
existing state-of-the-art method (PerAct). It also trains 36X faster than
PerAct for achieving the same performance and achieves 2.3X the inference speed
of PerAct. Further, RVT can perform a variety of manipulation tasks in the real
world with just a few (sim10) demonstrations per task. Visual results, code,
and trained model are provided at https://robotic-view-transformer.github.io/.