VisionGPT-3D: Un Agente Multimodale Generalizzato per una Migliore Comprensione della Visione 3D
VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
March 14, 2024
Autori: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou
cs.AI
Abstract
L'evoluzione dei componenti da testo a visivi facilita la vita quotidiana delle persone, come la generazione di immagini e video da testo e l'identificazione degli elementi desiderati all'interno delle immagini. I modelli di computer vision che coinvolgono abilità multimodali in passato si concentravano sul rilevamento e la classificazione delle immagini basati su oggetti ben definiti. I grandi modelli linguistici (LLM) introducono la trasformazione dal linguaggio naturale a oggetti visivi, presentando il layout visivo per contesti testuali. OpenAI GPT-4 è emerso come il vertice negli LLM, mentre il dominio della computer vision (CV) vanta una pletora di modelli e algoritmi all'avanguardia (SOTA) per convertire immagini 2D nelle loro rappresentazioni 3D. Tuttavia, la mancata corrispondenza tra gli algoritmi e il problema potrebbe portare a risultati indesiderati. In risposta a questa sfida, proponiamo un framework unificato VisionGPT-3D per consolidare i modelli di visione all'avanguardia, facilitando così lo sviluppo dell'IA orientata alla visione. VisionGPT-3D fornisce un framework multimodale versatile che si basa sui punti di forza dei modelli di fondazione multimodali. Integra senza soluzione di continuità vari modelli di visione SOTA e introduce l'automazione nella selezione dei modelli di visione SOTA, identifica gli algoritmi di creazione di mesh 3D adatti corrispondenti all'analisi delle mappe di profondità 2D e genera risultati ottimali basati su input multimodali diversi come prompt testuali.
Parole chiave: VisionGPT-3D, comprensione della visione 3D, agente multimodale
English
The evolution of text to visual components facilitates people's daily lives,
such as generating image, videos from text and identifying the desired elements
within the images. Computer vision models involving the multimodal abilities in
the previous days are focused on image detection, classification based on
well-defined objects. Large language models (LLMs) introduces the
transformation from nature language to visual objects, which present the visual
layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs,
while the computer vision (CV) domain boasts a plethora of state-of-the-art
(SOTA) models and algorithms to convert 2D images to their 3D representations.
However, the mismatching between the algorithms with the problem could lead to
undesired results. In response to this challenge, we propose an unified
VisionGPT-3D framework to consolidate the state-of-the-art vision models,
thereby facilitating the development of vision-oriented AI. VisionGPT-3D
provides a versatile multimodal framework building upon the strengths of
multimodal foundation models. It seamlessly integrates various SOTA vision
models and brings the automation in the selection of SOTA vision models,
identifies the suitable 3D mesh creation algorithms corresponding to 2D depth
maps analysis, generates optimal results based on diverse multimodal inputs
such as text prompts.
Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent