Eagle: Erforschung des Designraums für multimodale LLMs mit einer Mischung von Encodern

Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders

August 28, 2024

Autoren: Min Shi, Fuxiao Liu, Shihao Wang, Shijia Liao, Subhashree Radhakrishnan, De-An Huang, Hongxu Yin, Karan Sapra, Yaser Yacoob, Humphrey Shi, Bryan Catanzaro, Andrew Tao, Jan Kautz, Zhiding Yu, Guilin Liu

cs.AI

Zusammenfassung

Die Fähigkeit, komplexe visuelle Informationen genau zu interpretieren, ist ein entscheidendes Thema für multimodale große Sprachmodelle (MLLMs). Aktuelle Arbeiten deuten darauf hin, dass eine verbesserte visuelle Wahrnehmung Halluzinationen signifikant reduziert und die Leistung bei auflösungssensiblen Aufgaben wie optischer Zeichenerkennung und Dokumentenanalyse verbessert. Eine Reihe aktueller MLLMs erreicht dieses Ziel durch die Verwendung einer Mischung von Bildcodierern. Trotz ihres Erfolgs fehlen systematische Vergleiche und detaillierte Ablationsstudien, die kritische Aspekte wie die Auswahl von Experten und die Integration mehrerer Bildexperten behandeln. Diese Studie bietet eine umfassende Erkundung des Designraums für MLLMs unter Verwendung einer Mischung von Bildcodierern und Auflösungen. Unsere Ergebnisse zeigen mehrere zugrunde liegende Prinzipien auf, die verschiedenen bestehenden Strategien gemeinsam sind und zu einem schlanken, aber effektiven Designansatz führen. Wir entdecken, dass das einfache Konkatenieren visueller Token aus einer Reihe von komplementären Bildcodierern genauso effektiv ist wie komplexere Mischarchitekturen oder -strategien. Darüber hinaus führen wir Pre-Alignment ein, um die Kluft zwischen bildfokussierten Encodern und Sprachtokens zu überbrücken und die Kohärenz des Modells zu verbessern. Die resultierende Familie von MLLMs, Eagle, übertrifft andere führende Open-Source-Modelle bei wichtigen MLLM-Benchmarks. Modelle und Code: https://github.com/NVlabs/Eagle

English

The ability to accurately interpret complex visual information is a crucial topic of multimodal large language models (MLLMs). Recent work indicates that enhanced visual perception significantly reduces hallucinations and improves performance on resolution-sensitive tasks, such as optical character recognition and document analysis. A number of recent MLLMs achieve this goal using a mixture of vision encoders. Despite their success, there is a lack of systematic comparisons and detailed ablation studies addressing critical aspects, such as expert selection and the integration of multiple vision experts. This study provides an extensive exploration of the design space for MLLMs using a mixture of vision encoders and resolutions. Our findings reveal several underlying principles common to various existing strategies, leading to a streamlined yet effective design approach. We discover that simply concatenating visual tokens from a set of complementary vision encoders is as effective as more complex mixing architectures or strategies. We additionally introduce Pre-Alignment to bridge the gap between vision-focused encoders and language tokens, enhancing model coherence. The resulting family of MLLMs, Eagle, surpasses other leading open-source models on major MLLM benchmarks. Models and code: https://github.com/NVlabs/Eagle