Eagle 2.5: Potenciamiento del Post-Entrenamiento de Contexto Largo para Modelos de Visión-Lenguaje de Vanguardia

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

April 21, 2025

Autores: Guo Chen, Zhiqi Li, Shihao Wang, Jindong Jiang, Yicheng Liu, Lidong Lu, De-An Huang, Wonmin Byeon, Matthieu Le, Tuomas Rintamaki, Tyler Poon, Max Ehrlich, Tuomas Rintamaki, Tyler Poon, Tong Lu, Limin Wang, Bryan Catanzaro, Jan Kautz, Andrew Tao, Zhiding Yu, Guilin Liu

cs.AI

Resumen

Presentamos Eagle 2.5, una familia de modelos vision-lenguaje (VLMs) de vanguardia para el aprendizaje multimodal de contexto largo. Nuestro trabajo aborda los desafíos en la comprensión de videos largos y el entendimiento de imágenes de alta resolución, introduciendo un marco generalista para ambas tareas. El marco de entrenamiento propuesto incorpora Muestreo Automático de Degradación y Preservación del Área de la Imagen, dos técnicas que preservan la integridad contextual y los detalles visuales. El marco también incluye numerosas optimizaciones de eficiencia en la pipeline para el entrenamiento con datos de contexto largo. Finalmente, proponemos Eagle-Video-110K, un nuevo conjunto de datos que integra anotaciones tanto a nivel de historia como de clip, facilitando la comprensión de videos largos. Eagle 2.5 demuestra mejoras sustanciales en benchmarks multimodales de contexto largo, ofreciendo una solución robusta a las limitaciones de los VLMs existentes. Cabe destacar que nuestro mejor modelo, Eagle 2.5-8B, alcanza un 72.4% en Video-MME con 512 frames de entrada, igualando los resultados de modelos comerciales de primer nivel como GPT-4o y modelos de código abierto a gran escala como Qwen2.5-VL-72B e InternVL2.5-78B.

English

We introduce Eagle 2.5, a family of frontier vision-language models (VLMs) for long-context multimodal learning. Our work addresses the challenges in long video comprehension and high-resolution image understanding, introducing a generalist framework for both tasks. The proposed training framework incorporates Automatic Degrade Sampling and Image Area Preservation, two techniques that preserve contextual integrity and visual details. The framework also includes numerous efficiency optimizations in the pipeline for long-context data training. Finally, we propose Eagle-Video-110K, a novel dataset that integrates both story-level and clip-level annotations, facilitating long-video understanding. Eagle 2.5 demonstrates substantial improvements on long-context multimodal benchmarks, providing a robust solution to the limitations of existing VLMs. Notably, our best model Eagle 2.5-8B achieves 72.4% on Video-MME with 512 input frames, matching the results of top-tier commercial model such as GPT-4o and large-scale open-source models like Qwen2.5-VL-72B and InternVL2.5-78B.