3D-VLA: Un modello generativo mondo 3D visione-linguaggio-azione

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Autori: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Abstract

I recenti modelli visione-linguaggio-azione (VLA) si basano su input 2D, mancando di integrazione con il più ampio regno del mondo fisico 3D. Inoltre, eseguono la previsione delle azioni apprendendo una mappatura diretta dalla percezione all'azione, trascurando le vaste dinamiche del mondo e le relazioni tra azioni e dinamiche. Al contrario, gli esseri umani sono dotati di modelli del mondo che descrivono immaginazioni su scenari futuri per pianificare le azioni di conseguenza. A tal fine, proponiamo 3D-VLA introducendo una nuova famiglia di modelli fondazionali incarnati che collegano in modo fluido percezione 3D, ragionamento e azione attraverso un modello generativo del mondo. Nello specifico, 3D-VLA è costruito su un modello linguistico di grandi dimensioni (LLM) basato su 3D, e viene introdotto un insieme di token di interazione per interagire con l'ambiente incarnato. Inoltre, per infondere capacità di generazione nel modello, addestriamo una serie di modelli di diffusione incarnati e li allineiamo all'LLM per prevedere le immagini obiettivo e le nuvole di punti. Per addestrare il nostro 3D-VLA, curiamo un ampio dataset di istruzioni incarnate 3D estraendo una vasta quantità di informazioni relative al 3D da dataset robotici esistenti. I nostri esperimenti su dataset trattenuti dimostrano che 3D-VLA migliora significativamente le capacità di ragionamento, generazione multimodale e pianificazione in ambienti incarnati, mostrando il suo potenziale nelle applicazioni del mondo reale.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.