VisionGPT-3D: 향상된 3D 비전 이해를 위한 일반화된 멀티모달 에이전트

VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding

March 14, 2024

저자: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou

cs.AI

초록

텍스트에서 시각적 구성 요소로의 진화는 사람들의 일상생활을 용이하게 합니다. 예를 들어, 텍스트에서 이미지와 비디오를 생성하거나 이미지 내에서 원하는 요소를 식별하는 등의 작업이 가능해졌습니다. 과거의 다중 모달 능력을 포함한 컴퓨터 비전 모델들은 잘 정의된 객체를 기반으로 한 이미지 탐지와 분류에 초점을 맞추었습니다. 대형 언어 모델(LLMs)은 자연어에서 시각적 객체로의 변환을 도입하여 텍스트 문맥에 대한 시각적 레이아웃을 제공합니다. OpenAI GPT-4는 LLMs의 정점으로 등장했으며, 컴퓨터 비전(CV) 분야에서는 2D 이미지를 3D 표현으로 변환하는 최첨단(SOTA) 모델과 알고리즘이 풍부하게 존재합니다. 그러나 알고리즘과 문제 간의 불일치는 원치 않는 결과를 초래할 수 있습니다. 이러한 문제에 대응하기 위해, 우리는 최첨단 비전 모델을 통합하여 비전 지향적 AI 개발을 용이하게 하는 통합된 VisionGPT-3D 프레임워크를 제안합니다. VisionGPT-3D는 다중 모달 기반 모델의 강점을 기반으로 한 다재다능한 다중 모달 프레임워크를 제공합니다. 이 프레임워크는 다양한 SOTA 비전 모델을 원활하게 통합하고, SOTA 비전 모델 선택을 자동화하며, 2D 깊이 맵 분석에 적합한 3D 메시 생성 알고리즘을 식별하고, 텍스트 프롬프트와 같은 다양한 다중 모달 입력을 기반으로 최적의 결과를 생성합니다. 키워드: VisionGPT-3D, 3D 비전 이해, 다중 모달 에이전트

English

The evolution of text to visual components facilitates people's daily lives, such as generating image, videos from text and identifying the desired elements within the images. Computer vision models involving the multimodal abilities in the previous days are focused on image detection, classification based on well-defined objects. Large language models (LLMs) introduces the transformation from nature language to visual objects, which present the visual layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs, while the computer vision (CV) domain boasts a plethora of state-of-the-art (SOTA) models and algorithms to convert 2D images to their 3D representations. However, the mismatching between the algorithms with the problem could lead to undesired results. In response to this challenge, we propose an unified VisionGPT-3D framework to consolidate the state-of-the-art vision models, thereby facilitating the development of vision-oriented AI. VisionGPT-3D provides a versatile multimodal framework building upon the strengths of multimodal foundation models. It seamlessly integrates various SOTA vision models and brings the automation in the selection of SOTA vision models, identifies the suitable 3D mesh creation algorithms corresponding to 2D depth maps analysis, generates optimal results based on diverse multimodal inputs such as text prompts. Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent