3D-LLM: 3D世界を大規模言語モデルに組み込む
3D-LLM: Injecting the 3D World into Large Language Models
July 24, 2023
著者: Yining Hong, Haoyu Zhen, Peihao Chen, Shuhong Zheng, Yilun Du, Zhenfang Chen, Chuang Gan
cs.AI
要旨
大規模言語モデル(LLM)と視覚言語モデル(VLM)は、常識推論などの複数のタスクで優れた性能を発揮することが証明されています。これらのモデルは強力ではありますが、空間関係、アフォーダンス、物理、レイアウトなど、より豊かな概念を含む3D物理世界に基づいていません。本研究では、3D世界を大規模言語モデルに注入し、新たな3D-LLMファミリーを提案します。具体的には、3D-LLMは3D点群とその特徴を入力として受け取り、キャプション生成、高密度キャプション生成、3D質問応答、タスク分解、3Dグラウンディング、3D支援対話、ナビゲーションなど、多様な3D関連タスクを実行できます。我々が設計した3種類のプロンプトメカニズムを使用して、これらのタスクをカバーする30万以上の3D言語データを収集しました。3D-LLMを効率的に訓練するために、まずレンダリングされたマルチビュー画像から3D特徴を取得する3D特徴抽出器を利用します。次に、2D VLMをバックボーンとして使用して3D-LLMを訓練します。3D位置特定メカニズムを導入することで、3D-LLMは3D空間情報をより良く捕捉できます。ScanQAでの実験では、我々のモデルが最先端のベースラインを大幅に上回ることを示しています(例えば、BLEU-1スコアは最先端スコアを9%上回ります)。さらに、3Dキャプション生成、タスク構成、3D支援対話のための保持データセットでの実験では、我々のモデルが2D VLMを上回ることを示しています。質的な例でも、我々のモデルが既存のLLMやVLMの範囲を超えたタスクを実行できることが示されています。プロジェクトページ: https://vis-www.cs.umass.edu/3dllm/
English
Large language models (LLMs) and Vision-Language Models (VLMs) have been
proven to excel at multiple tasks, such as commonsense reasoning. Powerful as
these models can be, they are not grounded in the 3D physical world, which
involves richer concepts such as spatial relationships, affordances, physics,
layout, and so on. In this work, we propose to inject the 3D world into large
language models and introduce a whole new family of 3D-LLMs. Specifically,
3D-LLMs can take 3D point clouds and their features as input and perform a
diverse set of 3D-related tasks, including captioning, dense captioning, 3D
question answering, task decomposition, 3D grounding, 3D-assisted dialog,
navigation, and so on. Using three types of prompting mechanisms that we
design, we are able to collect over 300k 3D-language data covering these tasks.
To efficiently train 3D-LLMs, we first utilize a 3D feature extractor that
obtains 3D features from rendered multi- view images. Then, we use 2D VLMs as
our backbones to train our 3D-LLMs. By introducing a 3D localization mechanism,
3D-LLMs can better capture 3D spatial information. Experiments on ScanQA show
that our model outperforms state-of-the-art baselines by a large margin (e.g.,
the BLEU-1 score surpasses state-of-the-art score by 9%). Furthermore,
experiments on our held-in datasets for 3D captioning, task composition, and
3D-assisted dialogue show that our model outperforms 2D VLMs. Qualitative
examples also show that our model could perform more tasks beyond the scope of
existing LLMs and VLMs. Project Page: : https://vis-www.cs.umass.edu/3dllm/.