Eagle: Explorando o Espaço de Design para Modelos de Linguagem Multimodais com Mistura de Codificadores

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

August 28, 2024

Autores: Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

cs.AI

Resumo

A capacidade de interpretar com precisão informações visuais complexas é um tópico crucial dos modelos de linguagem multimodais de grande escala (MLLMs). Trabalhos recentes indicam que uma percepção visual aprimorada reduz significativamente alucinações e melhora o desempenho em tarefas sensíveis à resolução, como reconhecimento óptico de caracteres e análise de documentos. Vários MLLMs recentes alcançam esse objetivo usando uma combinação de codificadores visuais. Apesar de seu sucesso, há uma falta de comparações sistemáticas e estudos de ablação detalhados que abordem aspectos críticos, como seleção de especialistas e integração de múltiplos especialistas em visão. Este estudo fornece uma exploração extensiva do espaço de design para MLLMs usando uma mistura de codificadores visuais e resoluções. Nossas descobertas revelam vários princípios subjacentes comuns a várias estratégias existentes, levando a uma abordagem de design simplificada, porém eficaz. Descobrimos que simplesmente concatenar tokens visuais de um conjunto de codificadores visuais complementares é tão eficaz quanto arquiteturas ou estratégias de mistura mais complexas. Além disso, introduzimos o Pré-Alinhamento para preencher a lacuna entre codificadores focados em visão e tokens de linguagem, aprimorando a coerência do modelo. A família resultante de MLLMs, Eagle, supera outros modelos de código aberto líderes em importantes benchmarks de MLLM. Modelos e código: https://github.com/NVlabs/Eagle

English

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on resolution-sensitive tasks, such as optical character recognition and document analysis. A number of recent MLLMs achieve this goal using a mixture of vision encoders. Despite their success, there is a lack of systematic comparisons and detailed ablation studies addressing critical aspects, such as expert selection and the integration of multiple vision experts. This study provides an extensive exploration of the design space for MLLMs using a mixture of vision encoders and resolutions. Our findings reveal several underlying principles common to various existing strategies, leading to a streamlined yet effective design approach. We discover that simply concatenating visual tokens from a set of complementary vision encoders is as effective as more complex mixing architectures or strategies. We additionally introduce Pre-Alignment to bridge the gap between vision-focused encoders and language tokens, enhancing model coherence. The resulting family of MLLMs, Eagle, surpasses other leading open-source models on major MLLM benchmarks. Models and code: https://github.com/NVlabs/Eagle