DenseFusion-1M: Zusammenführung von Visionsexperten für umfassende multimodale Wahrnehmung

DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception

July 11, 2024

Autoren: Xiaotong Li, Fan Zhang, Haiwen Diao, Yueze Wang, Xinlong Wang, Ling-Yu Duan

cs.AI

Zusammenfassung

Bestehende Multimodale Große Sprachmodelle (MLLMs) betonen zunehmend die komplexe Erfassung verschiedener visueller Elemente, einschließlich mehrerer Objekte, Textinformationen und räumlicher Beziehungen. Ihre Entwicklung für eine umfassende visuelle Wahrnehmung hängt von der Verfügbarkeit hochwertiger Bild-Text-Datensätze ab, die vielfältige visuelle Elemente und durchgängige Bildbeschreibungen bieten. Die Knappheit solcher hyperdetaillierten Datensätze behindert derzeit jedoch den Fortschritt innerhalb der MLLM-Gemeinschaft. Das Engpassproblem resultiert aus den begrenzten Wahrnehmungsfähigkeiten aktueller Bildunterschrift-Engines, die nicht in der Lage sind, vollständige und genaue Annotationen bereitzustellen. Um die Spitzenforschung von MLLMs zur umfassenden visuellen Wahrnehmung zu erleichtern, schlagen wir daher die Perzeptuelle Fusion vor, die eine kostengünstige, aber äußerst effektive Bildunterschrift-Engine für vollständige und präzise Bildbeschreibungen verwendet. Konkret integriert die Perzeptuelle Fusion verschiedene Wahrnehmungsexperten als Bildprioritäten, um explizite Informationen über visuelle Elemente bereitzustellen, und übernimmt ein effizientes MLLM als zentralen Dreh- und Angelpunkt, um die Wahrnehmungsfähigkeiten fortschrittlicher MLLMs nachzuahmen. Wir wählen sorgfältig 1M hochrepräsentative Bilder aus dem unsortierten LAION-Datensatz aus und generieren dichte Beschreibungen mithilfe unserer Engine, genannt DenseFusion-1M. Umfangreiche Experimente bestätigen, dass unsere Engine ihre Gegenstücke übertrifft, wobei der resultierende Datensatz die Wahrnehmungs- und Kognitionsfähigkeiten bestehender MLLMs über verschiedene Vision-Sprach-Benchmarks hinweg signifikant verbessert, insbesondere bei hochauflösenden Bildern als Eingaben. Der Datensatz und der Code sind öffentlich unter https://github.com/baaivision/DenseFusion verfügbar.

English

Existing Multimodal Large Language Models (MLLMs) increasingly emphasize complex understanding of various visual elements, including multiple objects, text information, and spatial relations. Their development for comprehensive visual perception hinges on the availability of high-quality image-text datasets that offer diverse visual elements and throughout image descriptions. However, the scarcity of such hyper-detailed datasets currently hinders progress within the MLLM community. The bottleneck stems from the limited perceptual capabilities of current caption engines, which fall short in providing complete and accurate annotations. To facilitate the cutting-edge research of MLLMs on comprehensive vision perception, we thereby propose Perceptual Fusion, using a low-budget but highly effective caption engine for complete and accurate image descriptions. Specifically, Perceptual Fusion integrates diverse perception experts as image priors to provide explicit information on visual elements and adopts an efficient MLLM as a centric pivot to mimic advanced MLLMs' perception abilities. We carefully select 1M highly representative images from uncurated LAION dataset and generate dense descriptions using our engine, dubbed DenseFusion-1M. Extensive experiments validate that our engine outperforms its counterparts, where the resulting dataset significantly improves the perception and cognition abilities of existing MLLMs across diverse vision-language benchmarks, especially with high-resolution images as inputs. The dataset and code are publicly available at https://github.com/baaivision/DenseFusion.