Eagle 2.5: Verbesserung des Post-Trainings für langen Kontext bei fortschrittlichen Vision-Sprache-Modellen

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

April 21, 2025

Autoren: Guo Chen, Zhiqi Li, Shihao Wang, Jindong Jiang, Yicheng Liu, Lidong Lu, De-An Huang, Wonmin Byeon, Matthieu Le, Tuomas Rintamaki, Tyler Poon, Max Ehrlich, Tuomas Rintamaki, Tyler Poon, Tong Lu, Limin Wang, Bryan Catanzaro, Jan Kautz, Andrew Tao, Zhiding Yu, Guilin Liu

cs.AI

Zusammenfassung

Wir stellen Eagle 2.5 vor, eine Familie von fortschrittlichen Vision-Sprach-Modellen (VLMs) für das langkontextuelle multimodale Lernen. Unsere Arbeit adressiert die Herausforderungen im Verständnis langer Videos und der Interpretation hochauflösender Bilder und führt ein allgemeingültiges Framework für beide Aufgaben ein. Das vorgeschlagene Trainingsframework integriert Automatic Degrade Sampling und Image Area Preservation, zwei Techniken, die die kontextuelle Integrität und visuelle Details bewahren. Das Framework umfasst zudem zahlreiche Effizienzoptimierungen in der Pipeline für das Training mit langkontextuellen Daten. Schließlich präsentieren wir Eagle-Video-110K, einen neuartigen Datensatz, der sowohl story-level als auch clip-level Annotationen integriert und das Verständnis langer Videos erleichtert. Eagle 2.5 zeigt erhebliche Verbesserungen bei langkontextuellen multimodalen Benchmarks und bietet eine robuste Lösung für die Grenzen bestehender VLMs. Insbesondere erreicht unser bestes Modell Eagle 2.5-8B 72,4 % auf Video-MME mit 512 Eingabeframes und entspricht damit den Ergebnissen von Top-Modellen wie GPT-4o sowie groß angelegten Open-Source-Modellen wie Qwen2.5-VL-72B und InternVL2.5-78B.

English

We introduce Eagle 2.5, a family of frontier vision-language models (VLMs) for long-context multimodal learning. Our work addresses the challenges in long video comprehension and high-resolution image understanding, introducing a generalist framework for both tasks. The proposed training framework incorporates Automatic Degrade Sampling and Image Area Preservation, two techniques that preserve contextual integrity and visual details. The framework also includes numerous efficiency optimizations in the pipeline for long-context data training. Finally, we propose Eagle-Video-110K, a novel dataset that integrates both story-level and clip-level annotations, facilitating long-video understanding. Eagle 2.5 demonstrates substantial improvements on long-context multimodal benchmarks, providing a robust solution to the limitations of existing VLMs. Notably, our best model Eagle 2.5-8B achieves 72.4% on Video-MME with 512 input frames, matching the results of top-tier commercial model such as GPT-4o and large-scale open-source models like Qwen2.5-VL-72B and InternVL2.5-78B.