3D-VLA: Ein 3D Vision-Sprache-Aktion Generatives Weltmodell

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

Autoren: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

Zusammenfassung

Aktuelle Vision-Sprache-Aktion (VLA)-Modelle stützen sich auf 2D-Eingaben und integrieren nicht das breitere Spektrum der 3D-physikalischen Welt. Zudem erfolgt die Aktionsvorhersage durch das Erlernen einer direkten Zuordnung von Wahrnehmung zu Aktion, wobei die umfangreichen Dynamiken der Welt und die Beziehungen zwischen Aktionen und Dynamiken vernachlässigt werden. Im Gegensatz dazu sind Menschen mit Weltmodellen ausgestattet, die Vorstellungen über zukünftige Szenarien darstellen, um entsprechend Handlungen zu planen. Zu diesem Zweck schlagen wir 3D-VLA vor, indem eine neue Familie von verkörperten Grundlagenmodellen eingeführt wird, die 3D-Wahrnehmung, Schlussfolgerungen und Aktionen nahtlos durch ein generatives Weltmodell verknüpfen. Speziell basiert 3D-VLA auf einem 3D-basierten großen Sprachmodell (LLM), wobei eine Reihe von Interaktions-Token eingeführt wird, um mit der verkörperten Umgebung zu interagieren. Des Weiteren werden zur Integration von Generationsfähigkeiten in das Modell eine Reihe von verkörperten Diffusionsmodellen trainiert und mit dem LLM abgestimmt, um die Zielbilder und Punktewolken vorherzusagen. Zur Schulung unseres 3D-VLA kuratieren wir einen umfangreichen 3D-verkörperten Anweisungsdatensatz, indem wir umfangreiche 3D-bezogene Informationen aus bestehenden Robotikdatensätzen extrahieren. Unsere Experimente an zurückgehaltenen Datensätzen zeigen, dass 3D-VLA die Schlussfolgerung, multimodale Generierung und Planungsfähigkeiten in verkörperten Umgebungen signifikant verbessert und somit sein Potenzial in realen Anwendungen unterstreicht.

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.