VisionGPT-3D: Обобщенный мультимодальный агент для улучшенного трехмерного зрения.

VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding

March 14, 2024

Авторы: Chris Kelly, Luhui Hu, Jiayin Hu, Yu Tian, Deshun Yang, Bang Yang, Cindy Yang, Zihao Li, Zaoshan Huang, Yuexian Zou

cs.AI

Аннотация

Эволюция текста к визуальным компонентам облегчает повседневную жизнь людей, такие как создание изображений, видео из текста и идентификация желаемых элементов в изображениях. Модели компьютерного зрения, включающие мультимодальные способности, в предыдущие дни сосредотачивались на обнаружении изображений, классификации на основе четко определенных объектов. Большие модели языка (LLM) вводят преобразование от естественного языка к визуальным объектам, представляющим визуальное оформление для текстовых контекстов. OpenAI GPT-4 появился как вершина в LLM, в то время как область компьютерного зрения (CV) гордится множеством передовых моделей и алгоритмов для преобразования 2D изображений в их 3D представления. Однако несоответствие между алгоритмами и проблемой может привести к нежелательным результатам. В ответ на этот вызов мы предлагаем единую структуру VisionGPT-3D для объединения передовых моделей зрения, тем самым облегчая развитие зрительно-ориентированного искусственного интеллекта. VisionGPT-3D предоставляет универсальную мультимодальную структуру, основанную на сильных сторонах фундаментальных моделей мультимодальности. Он плавно интегрирует различные передовые модели зрения и обеспечивает автоматизацию выбора передовых моделей зрения, идентифицирует подходящие алгоритмы создания 3D мешей, соответствующие анализу 2D карт глубины, генерирует оптимальные результаты на основе разнообразных мультимодальных входов, таких как текстовые подсказки. Ключевые слова: VisionGPT-3D, понимание 3D зрения, мультимодальный агент

English

The evolution of text to visual components facilitates people's daily lives, such as generating image, videos from text and identifying the desired elements within the images. Computer vision models involving the multimodal abilities in the previous days are focused on image detection, classification based on well-defined objects. Large language models (LLMs) introduces the transformation from nature language to visual objects, which present the visual layout for text contexts. OpenAI GPT-4 has emerged as the pinnacle in LLMs, while the computer vision (CV) domain boasts a plethora of state-of-the-art (SOTA) models and algorithms to convert 2D images to their 3D representations. However, the mismatching between the algorithms with the problem could lead to undesired results. In response to this challenge, we propose an unified VisionGPT-3D framework to consolidate the state-of-the-art vision models, thereby facilitating the development of vision-oriented AI. VisionGPT-3D provides a versatile multimodal framework building upon the strengths of multimodal foundation models. It seamlessly integrates various SOTA vision models and brings the automation in the selection of SOTA vision models, identifies the suitable 3D mesh creation algorithms corresponding to 2D depth maps analysis, generates optimal results based on diverse multimodal inputs such as text prompts. Keywords: VisionGPT-3D, 3D vision understanding, Multimodal agent