VisionGPT-3D: Een Gegeneraliseerde Multimodale Agent voor Verbeterd 3D-Visiebegrip
VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding
March 14, 2024
Auteurs: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou
cs.AI
Samenvatting
De evolutie van tekst naar visuele componenten vergemakkelijkt het dagelijks leven van mensen, zoals het genereren van afbeeldingen en video's uit tekst en het identificeren van gewenste elementen binnen afbeeldingen. Computervisie-modellen met multimodale mogelijkheden waren in het verleden vooral gericht op beelddetectie en classificatie op basis van goed gedefinieerde objecten. Grote taalmodelen (LLMs) introduceren de transformatie van natuurlijke taal naar visuele objecten, wat de visuele lay-out voor tekstcontexten presenteert. OpenAI GPT-4 is naar voren gekomen als het hoogtepunt in LLMs, terwijl het domein van computervisie (CV) een overvloed aan state-of-the-art (SOTA) modellen en algoritmen kent om 2D-afbeeldingen om te zetten naar hun 3D-representaties. Echter, de mismatch tussen de algoritmen en het probleem kan leiden tot ongewenste resultaten. Als antwoord op deze uitdaging stellen we een geïntegreerd VisionGPT-3D-framework voor om de state-of-the-art visiemodellen te consolideren, waardoor de ontwikkeling van visiegerichte AI wordt vergemakkelijkt. VisionGPT-3D biedt een veelzijdig multimodaal framework dat voortbouwt op de sterke punten van multimodale basis modellen. Het integreert naadloos verschillende SOTA visiemodellen en brengt automatisering in de selectie van SOTA visiemodellen, identificeert geschikte 3D-mesh-creatie-algoritmen die corresponderen met 2D-dieptekaartanalyses, en genereert optimale resultaten op basis van diverse multimodale invoer zoals tekstprompts.
Trefwoorden: VisionGPT-3D, 3D-visiebegrip, Multimodale agent
English
The evolution of text to visual components facilitates people's daily lives,
such as generating image, videos from text and identifying the desired elements
within the images. Computer vision models involving the multimodal abilities in
the previous days are focused on image detection, classification based on
well-defined objects. Large language models (LLMs) introduces the
transformation from nature language to visual objects, which present the visual
layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs,
while the computer vision (CV) domain boasts a plethora of state-of-the-art
(SOTA) models and algorithms to convert 2D images to their 3D representations.
However, the mismatching between the algorithms with the problem could lead to
undesired results. In response to this challenge, we propose an unified
VisionGPT-3D framework to consolidate the state-of-the-art vision models,
thereby facilitating the development of vision-oriented AI. VisionGPT-3D
provides a versatile multimodal framework building upon the strengths of
multimodal foundation models. It seamlessly integrates various SOTA vision
models and brings the automation in the selection of SOTA vision models,
identifies the suitable 3D mesh creation algorithms corresponding to 2D depth
maps analysis, generates optimal results based on diverse multimodal inputs
such as text prompts.
Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent