3D-VLA: Трехмерная модель мира, генерирующая визуальные данные, язык и действия.

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Авторы: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Аннотация

Недавние модели вид-язык-действие (VLA) основаны на 2D входных данных и не взаимодействуют с широким миром 3D физического мира. Более того, они предсказывают действия, обучаясь прямому отображению от восприятия к действию, игнорируя обширную динамику мира и связи между действиями и динамикой. В отличие от этого, человек обладает моделями мира, которые позволяют представить себе будущие сценарии для планирования действий соответственно. Для этой цели мы предлагаем 3D-VLA, вводя новое семейство моделей фундаментальных воплощений, которые плавно связывают 3D восприятие, рассуждения и действия через генеративную модель мира. Конкретно, 3D-VLA строится на основе модели большого языка (LLM) на основе 3D, и вводится набор токенов взаимодействия для взаимодействия с воплощенной средой. Кроме того, чтобы внедрить способности генерации в модель, мы обучаем серию моделей диффузии воплощений и выравниваем их с LLM для прогнозирования целевых изображений и облаков точек. Для обучения нашего 3D-VLA мы составляем крупномасштабный набор данных инструкций воплощения 3D, извлекая обширную информацию, связанную с 3D, из существующих наборов данных по робототехнике. Наши эксперименты на удерживаемых наборах данных показывают, что 3D-VLA значительно улучшает способности рассуждения, мультимодальной генерации и планирования во воплощенных средах, демонстрируя его потенциал в реальных приложениях.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.