Eagle: Исследование пространства проектирования для мультимодальных языковых моделей с смесью кодировщиков

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

August 28, 2024

Авторы: Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

cs.AI

Аннотация

Способность точно интерпретировать сложную визуальную информацию является ключевой темой мультимодальных моделей больших языков (MLLMs). Недавние исследования показывают, что улучшенное визуальное восприятие значительно снижает галлюцинации и улучшает производительность на задачах, требующих высокого разрешения, таких как оптическое распознавание символов и анализ документов. Несколько последних MLLMs достигают этой цели, используя смесь визуальных кодировщиков. Несмотря на их успех, существует недостаток систематических сравнений и детальных исследований по отключению, касающихся критических аспектов, таких как выбор экспертов и интеграция нескольких визуальных экспертов. В данном исследовании проводится обширное исследование пространства проектирования для MLLMs с использованием смеси визуальных кодировщиков и разрешений. Наши результаты раскрывают несколько базовых принципов, общих для различных существующих стратегий, приводя к эффективному подходу к проектированию. Мы обнаружили, что простое объединение визуальных токенов из набора взаимодополняющих визуальных кодировщиков так же эффективно, как более сложные архитектуры или стратегии смешивания. Мы также представляем Pre-Alignment для устранения разрыва между кодировщиками, сосредоточенными на визуальной информации, и языковыми токенами, улучшая согласованность модели. Результирующая семейство MLLMs, Eagle, превосходит другие ведущие модели с открытым исходным кодом на основных бенчмарках MLLM. Модели и код: https://github.com/NVlabs/Eagle

English

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on resolution-sensitive tasks, such as optical character recognition and document analysis. A number of recent MLLMs achieve this goal using a mixture of vision encoders. Despite their success, there is a lack of systematic comparisons and detailed ablation studies addressing critical aspects, such as expert selection and the integration of multiple vision experts. This study provides an extensive exploration of the design space for MLLMs using a mixture of vision encoders and resolutions. Our findings reveal several underlying principles common to various existing strategies, leading to a streamlined yet effective design approach. We discover that simply concatenating visual tokens from a set of complementary vision encoders is as effective as more complex mixing architectures or strategies. We additionally introduce Pre-Alignment to bridge the gap between vision-focused encoders and language tokens, enhancing model coherence. The resulting family of MLLMs, Eagle, surpasses other leading open-source models on major MLLM benchmarks. Models and code: https://github.com/NVlabs/Eagle