Eagle: Het Ontwerpspectrum Onderzoeken voor Multimodale LLM's met een Mix van Encoders

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

August 28, 2024

Auteurs: Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

cs.AI

Samenvatting

Het vermogen om complexe visuele informatie nauwkeurig te interpreteren is een cruciaal onderwerp voor multimodale grote taalmodellen (MLLMs). Recent onderzoek toont aan dat verbeterde visuele waarneming hallucinaties aanzienlijk vermindert en de prestaties verbetert bij taken die gevoelig zijn voor resolutie, zoals optische tekenherkenning en documentanalyse. Een aantal recente MLLMs bereikt dit doel door gebruik te maken van een mix van visuele encoders. Ondanks hun succes ontbreekt het aan systematische vergelijkingen en gedetailleerde ablatiestudies die kritieke aspecten aanpakken, zoals expertsselectie en de integratie van meerdere visuele experts. Deze studie biedt een uitgebreide verkenning van het ontwerpruimte voor MLLMs met behulp van een mix van visuele encoders en resoluties. Onze bevindingen onthullen verschillende onderliggende principes die gemeenschappelijk zijn voor diverse bestaande strategieën, wat leidt tot een gestroomlijnde maar effectieve ontwerpaanpak. We ontdekken dat het eenvoudig samenvoegen van visuele tokens van een set complementaire visuele encoders even effectief is als complexere mengarchitecturen of strategieën. Daarnaast introduceren we Pre-Alignment om de kloof te overbruggen tussen visueel gerichte encoders en taaltokens, waardoor de samenhang van het model wordt verbeterd. De resulterende familie van MLLMs, Eagle, overtreft andere toonaangevende open-source modellen op belangrijke MLLM-benchmarks. Modellen en code: https://github.com/NVlabs/Eagle

English

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on resolution-sensitive tasks, such as optical character recognition and document analysis. A number of recent MLLMs achieve this goal using a mixture of vision encoders. Despite their success, there is a lack of systematic comparisons and detailed ablation studies addressing critical aspects, such as expert selection and the integration of multiple vision experts. This study provides an extensive exploration of the design space for MLLMs using a mixture of vision encoders and resolutions. Our findings reveal several underlying principles common to various existing strategies, leading to a streamlined yet effective design approach. We discover that simply concatenating visual tokens from a set of complementary vision encoders is as effective as more complex mixing architectures or strategies. We additionally introduce Pre-Alignment to bridge the gap between vision-focused encoders and language tokens, enhancing model coherence. The resulting family of MLLMs, Eagle, surpasses other leading open-source models on major MLLM benchmarks. Models and code: https://github.com/NVlabs/Eagle