DenseFusion-1M : Fusion d'experts visuels pour une perception multimodale complète

DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception

July 11, 2024

Auteurs: Xiaotong Li, Fan Zhang, Haiwen Diao, Yueze Wang, Xinlong Wang, Ling-Yu Duan

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) existants mettent de plus en plus l'accent sur la compréhension complexe de divers éléments visuels, incluant plusieurs objets, des informations textuelles et des relations spatiales. Leur développement pour une perception visuelle complète dépend de la disponibilité de jeux de données image-texte de haute qualité offrant une diversité d'éléments visuels et des descriptions d'images détaillées. Cependant, la rareté de tels jeux de données hyper-détaillés freine actuellement les progrès au sein de la communauté des MLLMs. Ce goulot d'étranglement découle des capacités perceptuelles limitées des moteurs de légendage actuels, qui ne parviennent pas à fournir des annotations complètes et précises. Pour faciliter la recherche de pointe sur la perception visuelle complète des MLLMs, nous proposons donc Perceptual Fusion, utilisant un moteur de légendage à faible coût mais hautement efficace pour générer des descriptions d'images complètes et précises. Concrètement, Perceptual Fusion intègre divers experts en perception comme a priori d'image pour fournir des informations explicites sur les éléments visuels et adopte un MLLM efficace comme pivot central pour imiter les capacités perceptuelles des MLLMs avancés. Nous sélectionnons soigneusement 1 million d'images hautement représentatives du jeu de données non-curaté LAION et générons des descriptions denses à l'aide de notre moteur, nommé DenseFusion-1M. Des expériences approfondies valident que notre moteur surpasse ses concurrents, où le jeu de données résultant améliore significativement les capacités de perception et de cognition des MLLMs existants sur divers benchmarks vision-langage, en particulier avec des images haute résolution en entrée. Le jeu de données et le code sont disponibles publiquement à l'adresse https://github.com/baaivision/DenseFusion.

English

Existing Multimodal Large Language Models (MLLMs) increasingly emphasize complex understanding of various visual elements, including multiple objects, text information, and spatial relations. Their development for comprehensive visual perception hinges on the availability of high-quality image-text datasets that offer diverse visual elements and throughout image descriptions. However, the scarcity of such hyper-detailed datasets currently hinders progress within the MLLM community. The bottleneck stems from the limited perceptual capabilities of current caption engines, which fall short in providing complete and accurate annotations. To facilitate the cutting-edge research of MLLMs on comprehensive vision perception, we thereby propose Perceptual Fusion, using a low-budget but highly effective caption engine for complete and accurate image descriptions. Specifically, Perceptual Fusion integrates diverse perception experts as image priors to provide explicit information on visual elements and adopts an efficient MLLM as a centric pivot to mimic advanced MLLMs' perception abilities. We carefully select 1M highly representative images from uncurated LAION dataset and generate dense descriptions using our engine, dubbed DenseFusion-1M. Extensive experiments validate that our engine outperforms its counterparts, where the resulting dataset significantly improves the perception and cognition abilities of existing MLLMs across diverse vision-language benchmarks, especially with high-resolution images as inputs. The dataset and code are publicly available at https://github.com/baaivision/DenseFusion.