Eagle 2.5: Verbetering van Post-Training voor Lange Contexten in Grensverleggende Visie-Taalmodellen

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

April 21, 2025

Auteurs: Guo Chen, Zhiqi Li, Shihao Wang, Jindong Jiang, Yicheng Liu, Lidong Lu, De-An Huang, Wonmin Byeon, Matthieu Le, Tuomas Rintamaki, Tyler Poon, Max Ehrlich, Tuomas Rintamaki, Tyler Poon, Tong Lu, Limin Wang, Bryan Catanzaro, Jan Kautz, Andrew Tao, Zhiding Yu, Guilin Liu

cs.AI

Samenvatting

We introduceren Eagle 2.5, een familie van geavanceerde visueel-taalkundige modellen (VLMs) voor lang-context multimodale learning. Ons werk richt zich op de uitdagingen in het begrijpen van lange video's en het interpreteren van hoge-resolutie afbeeldingen, en introduceert een generalistisch raamwerk voor beide taken. Het voorgestelde trainingsraamwerk omvat Automatic Degrade Sampling en Image Area Preservation, twee technieken die de contextuele integriteit en visuele details behouden. Het raamwerk bevat ook talrijke efficiëntie-optimalisaties in de pijplijn voor het trainen van lang-context data. Ten slotte stellen we Eagle-Video-110K voor, een nieuwe dataset die zowel story-level als clip-level annotaties integreert, wat het begrijpen van lange video's vergemakkelijkt. Eagle 2.5 toont aanzienlijke verbeteringen op lang-context multimodale benchmarks, en biedt een robuuste oplossing voor de beperkingen van bestaande VLMs. Opmerkelijk is dat ons beste model, Eagle 2.5-8B, 72,4% behaalt op Video-MME met 512 invoerframes, wat overeenkomt met de resultaten van topcommerciële modellen zoals GPT-4o en grootschalige open-source modellen zoals Qwen2.5-VL-72B en InternVL2.5-78B.

English

We introduce Eagle 2.5, a family of frontier vision-language models (VLMs) for long-context multimodal learning. Our work addresses the challenges in long video comprehension and high-resolution image understanding, introducing a generalist framework for both tasks. The proposed training framework incorporates Automatic Degrade Sampling and Image Area Preservation, two techniques that preserve contextual integrity and visual details. The framework also includes numerous efficiency optimizations in the pipeline for long-context data training. Finally, we propose Eagle-Video-110K, a novel dataset that integrates both story-level and clip-level annotations, facilitating long-video understanding. Eagle 2.5 demonstrates substantial improvements on long-context multimodal benchmarks, providing a robust solution to the limitations of existing VLMs. Notably, our best model Eagle 2.5-8B achieves 72.4% on Video-MME with 512 input frames, matching the results of top-tier commercial model such as GPT-4o and large-scale open-source models like Qwen2.5-VL-72B and InternVL2.5-78B.