VisionGPT-3D: Um Agente Multimodal Generalizado para Aprimoramento da Compreensão de Visão 3D
VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
March 14, 2024
Autores: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou
cs.AI
Resumo
A evolução dos componentes de texto para visuais facilita o cotidiano das pessoas, como a geração de imagens e vídeos a partir de texto e a identificação de elementos desejados dentro das imagens. Modelos de visão computacional que envolvem habilidades multimodais nos dias anteriores concentravam-se na detecção de imagens e classificação com base em objetos bem definidos. Modelos de linguagem de grande escala (LLMs) introduzem a transformação de linguagem natural em objetos visuais, apresentando o layout visual para contextos textuais. O GPT-4 da OpenAI emergiu como o ápice dos LLMs, enquanto o domínio da visão computacional (CV) possui uma infinidade de modelos e algoritmos de última geração (SOTA) para converter imagens 2D em suas representações 3D. No entanto, a incompatibilidade entre os algoritmos e o problema pode levar a resultados indesejados. Em resposta a esse desafio, propomos um framework unificado VisionGPT-3D para consolidar os modelos de visão de última geração, facilitando assim o desenvolvimento de IA orientada para visão. O VisionGPT-3D fornece um framework multimodal versátil, construído sobre os pontos fortes dos modelos de base multimodal. Ele integra perfeitamente vários modelos de visão SOTA e traz automação na seleção desses modelos, identifica os algoritmos de criação de malhas 3D adequados correspondentes à análise de mapas de profundidade 2D e gera resultados ótimos com base em diversas entradas multimodais, como prompts de texto.
Palavras-chave: VisionGPT-3D, compreensão de visão 3D, agente multimodal
English
The evolution of text to visual components facilitates people's daily lives,
such as generating image, videos from text and identifying the desired elements
within the images. Computer vision models involving the multimodal abilities in
the previous days are focused on image detection, classification based on
well-defined objects. Large language models (LLMs) introduces the
transformation from nature language to visual objects, which present the visual
layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs,
while the computer vision (CV) domain boasts a plethora of state-of-the-art
(SOTA) models and algorithms to convert 2D images to their 3D representations.
However, the mismatching between the algorithms with the problem could lead to
undesired results. In response to this challenge, we propose an unified
VisionGPT-3D framework to consolidate the state-of-the-art vision models,
thereby facilitating the development of vision-oriented AI. VisionGPT-3D
provides a versatile multimodal framework building upon the strengths of
multimodal foundation models. It seamlessly integrates various SOTA vision
models and brings the automation in the selection of SOTA vision models,
identifies the suitable 3D mesh creation algorithms corresponding to 2D depth
maps analysis, generates optimal results based on diverse multimodal inputs
such as text prompts.
Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent