VisionGPT-3D: 強化された3D視覚理解のための汎用マルチモーダルエージェント
VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
March 14, 2024
著者: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou
cs.AI
要旨
テキストから視覚的要素への進化は、テキストから画像や動画を生成したり、画像内の目的の要素を特定したりするなど、人々の日常生活を容易にする。以前のマルチモーダル能力を備えたコンピュータビジョンモデルは、明確に定義されたオブジェクトに基づく画像検出や分類に焦点を当てていた。大規模言語モデル（LLMs）は、自然言語から視覚的オブジェクトへの変換を導入し、テキストコンテキストの視覚的レイアウトを提示する。OpenAI GPT-4はLLMsの頂点として登場し、一方でコンピュータビジョン（CV）領域では、2D画像を3D表現に変換するための多数の最先端（SOTA）モデルとアルゴリズムが存在する。しかし、アルゴリズムと問題の不一致は望ましくない結果を招く可能性がある。この課題に対応するため、我々はSOTAビジョンモデルを統合し、ビジョン指向AIの開発を促進するための統一されたVisionGPT-3Dフレームワークを提案する。VisionGPT-3Dは、マルチモーダル基盤モデルの強みを基盤とした多用途のマルチモーダルフレームワークを提供する。これは、さまざまなSOTAビジョンモデルをシームレスに統合し、SOTAビジョンモデルの選択を自動化し、2D深度マップ分析に対応する適切な3Dメッシュ作成アルゴリズムを特定し、テキストプロンプトなどの多様なマルチモーダル入力に基づいて最適な結果を生成する。
キーワード: VisionGPT-3D, 3Dビジョン理解, マルチモーダルエージェント
English
The evolution of text to visual components facilitates people's daily lives,
such as generating image, videos from text and identifying the desired elements
within the images. Computer vision models involving the multimodal abilities in
the previous days are focused on image detection, classification based on
well-defined objects. Large language models (LLMs) introduces the
transformation from nature language to visual objects, which present the visual
layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs,
while the computer vision (CV) domain boasts a plethora of state-of-the-art
(SOTA) models and algorithms to convert 2D images to their 3D representations.
However, the mismatching between the algorithms with the problem could lead to
undesired results. In response to this challenge, we propose an unified
VisionGPT-3D framework to consolidate the state-of-the-art vision models,
thereby facilitating the development of vision-oriented AI. VisionGPT-3D
provides a versatile multimodal framework building upon the strengths of
multimodal foundation models. It seamlessly integrates various SOTA vision
models and brings the automation in the selection of SOTA vision models,
identifies the suitable 3D mesh creation algorithms corresponding to 2D depth
maps analysis, generates optimal results based on diverse multimodal inputs
such as text prompts.
Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agentSummary
AI-Generated Summary