3D-VLA: Een 3D Visie-Taal-Actie Generatief Wereldmodel

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Auteurs: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Samenvatting

Recente vision-language-action (VLA)-modellen vertrouwen op 2D-invoer, waardoor ze niet geïntegreerd zijn met de bredere wereld van de 3D-fysieke realiteit. Bovendien voeren ze actievoorspellingen uit door een directe mapping van perceptie naar actie te leren, waarbij ze de uitgebreide dynamiek van de wereld en de relaties tussen acties en dynamiek verwaarlozen. Daarentegen beschikken mensen over wereldmodellen die verbeelding over toekomstige scenario's weergeven om acties dienovereenkomstig te plannen. Hiertoe stellen we 3D-VLA voor door een nieuwe familie van belichaamde foundation-modellen te introduceren die 3D-perceptie, redenering en actie naadloos verbinden via een generatief wereldmodel. Specifiek is 3D-VLA gebouwd op een 3D-gebaseerd groot taalmodel (LLM), en wordt een set interactietokens geïntroduceerd om te interageren met de belichaamde omgeving. Verder trainen we een reeks belichaamde diffusiemodellen en integreren deze in het LLM om doelafbeeldingen en puntenwolken te voorspellen, om zo generatieve capaciteiten in het model te injecteren. Om onze 3D-VLA te trainen, stellen we een grootschalige 3D-belichaamde instructiedataset samen door uitgebreide 3D-gerelateerde informatie uit bestaande robotica-datasets te extraheren. Onze experimenten op gereserveerde datasets tonen aan dat 3D-VLA de redeneer-, multimodale generatie- en planningscapaciteiten in belichaamde omgevingen aanzienlijk verbetert, wat het potentieel ervan in real-world toepassingen aantoont.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.