DenseFusion-1M: Слияние экспертов по зрительному восприятию для комплексного мультимодального восприятия

DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception

July 11, 2024

Авторы: Xiaotong Li, Fan Zhang, Haiwen Diao, Yueze Wang, Xinlong Wang, Ling-Yu Duan

cs.AI

Аннотация

Существующие мультимодальные модели языка больших размеров (MLLM) все более акцентируют сложное понимание различных визуальных элементов, включая множественные объекты, текстовую информацию и пространственные отношения. Их развитие для комплексного визуального восприятия зависит от наличия высококачественных наборов данных изображений и текста, предлагающих разнообразные визуальные элементы и полные описания изображений. Однако дефицит таких гипердетализированных наборов данных в настоящее время затрудняет прогресс в сообществе MLLM. Узкое место происходит из ограниченных перцептивных возможностей текущих модулей подписей, которые не могут обеспечить полные и точные аннотации. Для облегчения передовых исследований MLLM по комплексному визионному восприятию мы предлагаем Перцептивное Слияние, используя недорогой, но высокоэффективный модуль подписей для полных и точных описаний изображений. Конкретно, Перцептивное Слияние интегрирует разнообразных экспертов по восприятию в качестве изображений-приоритетов для предоставления явной информации о визуальных элементах и принимает эффективную модель MLLM в качестве центральной опоры для имитации способностей восприятия передовых моделей MLLM. Мы тщательно выбрали 1 миллион высоко репрезентативных изображений из некурированного набора данных LAION и сгенерировали плотные описания с использованием нашего модуля, названного DenseFusion-1M. Обширные эксперименты подтверждают, что наш модуль превосходит своих аналогов, где полученный набор данных значительно улучшает способности восприятия и когнитивные способности существующих моделей MLLM по различным бенчмаркам визио-языкового восприятия, особенно с изображениями высокого разрешения в качестве входных данных. Набор данных и код общедоступны по адресу https://github.com/baaivision/DenseFusion.

English

Existing Multimodal Large Language Models (MLLMs) increasingly emphasize complex understanding of various visual elements, including multiple objects, text information, and spatial relations. Their development for comprehensive visual perception hinges on the availability of high-quality image-text datasets that offer diverse visual elements and throughout image descriptions. However, the scarcity of such hyper-detailed datasets currently hinders progress within the MLLM community. The bottleneck stems from the limited perceptual capabilities of current caption engines, which fall short in providing complete and accurate annotations. To facilitate the cutting-edge research of MLLMs on comprehensive vision perception, we thereby propose Perceptual Fusion, using a low-budget but highly effective caption engine for complete and accurate image descriptions. Specifically, Perceptual Fusion integrates diverse perception experts as image priors to provide explicit information on visual elements and adopts an efficient MLLM as a centric pivot to mimic advanced MLLMs' perception abilities. We carefully select 1M highly representative images from uncurated LAION dataset and generate dense descriptions using our engine, dubbed DenseFusion-1M. Extensive experiments validate that our engine outperforms its counterparts, where the resulting dataset significantly improves the perception and cognition abilities of existing MLLMs across diverse vision-language benchmarks, especially with high-resolution images as inputs. The dataset and code are publicly available at https://github.com/baaivision/DenseFusion.