3D-VLA: Un Modelo Generativo Mundo 3D de Visión-Lenguaje-Acción

Resumen

Los modelos recientes de visión-lenguaje-acción (VLA) dependen de entradas en 2D, careciendo de integración con el ámbito más amplio del mundo físico en 3D. Además, realizan predicciones de acciones aprendiendo un mapeo directo desde la percepción hasta la acción, descuidando la vasta dinámica del mundo y las relaciones entre las acciones y dicha dinámica. En contraste, los seres humanos están dotados de modelos del mundo que representan la imaginación sobre escenarios futuros para planificar acciones en consecuencia. Con este fin, proponemos 3D-VLA mediante la introducción de una nueva familia de modelos fundacionales encarnados que vinculan de manera fluida la percepción 3D, el razonamiento y la acción a través de un modelo generativo del mundo. Específicamente, 3D-VLA se construye sobre un modelo de lenguaje grande (LLM) basado en 3D, y se introduce un conjunto de tokens de interacción para interactuar con el entorno encarnado. Además, para dotar al modelo de capacidades generativas, entrenamos una serie de modelos de difusión encarnados y los alineamos con el LLM para predecir imágenes objetivo y nubes de puntos. Para entrenar nuestro 3D-VLA, recopilamos un conjunto de datos a gran escala de instrucciones encarnadas en 3D extrayendo una gran cantidad de información relacionada con 3D de conjuntos de datos de robótica existentes. Nuestros experimentos en conjuntos de datos retenidos demuestran que 3D-VLA mejora significativamente las capacidades de razonamiento, generación multimodal y planificación en entornos encarnados, mostrando su potencial en aplicaciones del mundo real.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.

3D-VLA: Un Modelo Generativo Mundo 3D de Visión-Lenguaje-Acción

3D-VLA: A 3D Vision-Language-Action Generative World Model

Resumen

Support