3D-VLA: Um Modelo Generativo de Mundo Visão-Linguagem-Ação em 3D

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Autores: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Resumo

Modelos recentes de visão-linguagem-ação (VLA) dependem de entradas 2D, carecendo de integração com o amplo domínio do mundo físico 3D. Além disso, eles realizam a previsão de ações aprendendo um mapeamento direto da percepção para a ação, negligenciando a vasta dinâmica do mundo e as relações entre ações e dinâmicas. Em contraste, os seres humanos são dotados de modelos de mundo que descrevem a imaginação sobre cenários futuros para planejar ações de acordo. Para isso, propomos o 3D-VLA, introduzindo uma nova família de modelos fundamentais incorporados que conectam de forma contínua a percepção 3D, o raciocínio e a ação por meio de um modelo de mundo generativo. Especificamente, o 3D-VLA é construído sobre um modelo de linguagem de grande escala (LLM) baseado em 3D, e um conjunto de tokens de interação é introduzido para engajar com o ambiente incorporado. Além disso, para injetar habilidades de geração no modelo, treinamos uma série de modelos de difusão incorporados e os alinhamos ao LLM para prever as imagens de objetivo e nuvens de pontos. Para treinar nosso 3D-VLA, curamos um grande conjunto de dados de instruções incorporadas em 3D, extraindo vastas informações relacionadas a 3D de conjuntos de dados de robótica existentes. Nossos experimentos em conjuntos de dados retidos demonstram que o 3D-VLA melhora significativamente as capacidades de raciocínio, geração multimodal e planejamento em ambientes incorporados, mostrando seu potencial em aplicações do mundo real.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.