3D-VLA : Un modèle génératif monde 3D intégrant vision, langage et action

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Auteurs: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Résumé

Les modèles récents de vision-langage-action (VLA) s'appuient sur des entrées 2D, manquant d'intégration avec le domaine plus vaste du monde physique en 3D. De plus, ils prédisent les actions en apprenant un mappage direct de la perception à l'action, négligeant la dynamique complexe du monde et les relations entre les actions et cette dynamique. En revanche, les êtres humains sont dotés de modèles du monde qui décrivent des scénarios futurs imaginés pour planifier les actions en conséquence. Dans cette optique, nous proposons 3D-VLA en introduisant une nouvelle famille de modèles de base incarnés qui relient de manière fluide la perception 3D, le raisonnement et l'action à travers un modèle génératif du monde. Plus précisément, 3D-VLA est construit sur un modèle de langage massif (LLM) basé sur la 3D, et un ensemble de tokens d'interaction est introduit pour interagir avec l'environnement incarné. Par ailleurs, pour doter le modèle de capacités de génération, nous entraînons une série de modèles de diffusion incarnés et les alignons avec le LLM pour prédire les images et nuages de points cibles. Pour entraîner notre 3D-VLA, nous constituons un vaste ensemble de données d'instructions incarnées en 3D en extrayant une quantité importante d'informations liées à la 3D à partir de jeux de données robotiques existants. Nos expériences sur des ensembles de données réservés démontrent que 3D-VLA améliore significativement les capacités de raisonnement, de génération multimodale et de planification dans des environnements incarnés, mettant en évidence son potentiel pour des applications réelles.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.