Águila: Explorando el Espacio de Diseño para Modelos de Lenguaje Multimodales con Mezcla de Codificadores

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

August 28, 2024

Autores: Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

cs.AI

Resumen

La capacidad de interpretar con precisión información visual compleja es un tema crucial en los modelos de lenguaje multimodales de gran escala (MLLMs). Investigaciones recientes indican que una percepción visual mejorada reduce significativamente las alucinaciones y mejora el rendimiento en tareas sensibles a la resolución, como el reconocimiento óptico de caracteres y el análisis de documentos. Varios MLLMs recientes logran este objetivo utilizando una combinación de codificadores visuales. A pesar de su éxito, existe una falta de comparaciones sistemáticas y estudios de ablación detallados que aborden aspectos críticos, como la selección de expertos y la integración de múltiples expertos visuales. Este estudio proporciona una exploración exhaustiva del espacio de diseño para MLLMs utilizando una combinación de codificadores visuales y resoluciones. Nuestros hallazgos revelan varios principios subyacentes comunes a diversas estrategias existentes, lo que conduce a un enfoque de diseño simplificado pero efectivo. Descubrimos que simplemente concatenar tokens visuales de un conjunto de codificadores visuales complementarios es tan efectivo como arquitecturas o estrategias de mezcla más complejas. Además, introducimos Pre-Alignment para cerrar la brecha entre los codificadores centrados en la visión y los tokens de lenguaje, mejorando la coherencia del modelo. La familia resultante de MLLMs, Eagle, supera a otros modelos líderes de código abierto en importantes referencias de MLLM. Modelos y código: https://github.com/NVlabs/Eagle

English

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on resolution-sensitive tasks, such as optical character recognition and document analysis. A number of recent MLLMs achieve this goal using a mixture of vision encoders. Despite their success, there is a lack of systematic comparisons and detailed ablation studies addressing critical aspects, such as expert selection and the integration of multiple vision experts. This study provides an extensive exploration of the design space for MLLMs using a mixture of vision encoders and resolutions. Our findings reveal several underlying principles common to various existing strategies, leading to a streamlined yet effective design approach. We discover that simply concatenating visual tokens from a set of complementary vision encoders is as effective as more complex mixing architectures or strategies. We additionally introduce Pre-Alignment to bridge the gap between vision-focused encoders and language tokens, enhancing model coherence. The resulting family of MLLMs, Eagle, surpasses other leading open-source models on major MLLM benchmarks. Models and code: https://github.com/NVlabs/Eagle