3D-VLA: 3D視覚-言語-行動生成ワールドモデル

3D-VLA: A 3D Vision-Language-Action Generative World Model

March 14, 2024

著者: Haoyu Zhen, Xiaowen Qiu, Peihao Chen, Jincheng Yang, Xin Yan, Yilun Du, Yining Hong, Chuang Gan

cs.AI

要旨

近年の視覚-言語-行動（VLA）モデルは2D入力を基盤としており、3D物理世界との統合が欠如している。さらに、これらのモデルは知覚から行動への直接的なマッピングを学習することで行動予測を行うため、世界のダイナミクスや行動とダイナミクスとの関係を十分に考慮していない。一方、人間は未来のシナリオを描く世界モデルを備えており、それに基づいて行動を計画する。この目的のために、我々は3D知覚、推論、行動を生成的世界モデルを通じてシームレスに結びつける新しいエンボディド基盤モデルのファミリーを提案し、3D-VLAを導入する。具体的には、3D-VLAは3Dベースの大規模言語モデル（LLM）を基盤として構築され、エンボディド環境との相互作用を可能にする一連のインタラクショントークンが導入される。さらに、モデルに生成能力を付与するため、一連のエンボディド拡散モデルを訓練し、それらをLLMに統合して目標画像と点群を予測する。3D-VLAを訓練するために、既存のロボティクスデータセットから大量の3D関連情報を抽出し、大規模な3Dエンボディド指示データセットを構築した。保持データセットを用いた実験により、3D-VLAがエンボディド環境における推論、マルチモーダル生成、計画能力を大幅に向上させることが示され、実世界での応用可能性が示された。

English

Recent vision-language-action (VLA) models rely on 2D inputs, lacking integration with the broader realm of the 3D physical world. Furthermore, they perform action prediction by learning a direct mapping from perception to action, neglecting the vast dynamics of the world and the relations between actions and dynamics. In contrast, human beings are endowed with world models that depict imagination about future scenarios to plan actions accordingly. To this end, we propose 3D-VLA by introducing a new family of embodied foundation models that seamlessly link 3D perception, reasoning, and action through a generative world model. Specifically, 3D-VLA is built on top of a 3D-based large language model (LLM), and a set of interaction tokens is introduced to engage with the embodied environment. Furthermore, to inject generation abilities into the model, we train a series of embodied diffusion models and align them into the LLM for predicting the goal images and point clouds. To train our 3D-VLA, we curate a large-scale 3D embodied instruction dataset by extracting vast 3D-related information from existing robotics datasets. Our experiments on held-in datasets demonstrate that 3D-VLA significantly improves the reasoning, multimodal generation, and planning capabilities in embodied environments, showcasing its potential in real-world applications.