Eagle 2.5: Impulsionando o Pós-Treinamento de Contexto Longo para Modelos de Visão-Linguagem de Fronteira

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

April 21, 2025

Autores: Guo Chen, Zhiqi Li, Shihao Wang, Jindong Jiang, Yicheng Liu, Lidong Lu, De-An Huang, Wonmin Byeon, Matthieu Le, Tuomas Rintamaki, Tyler Poon, Max Ehrlich, Tuomas Rintamaki, Tyler Poon, Tong Lu, Limin Wang, Bryan Catanzaro, Jan Kautz, Andrew Tao, Zhiding Yu, Guilin Liu

cs.AI

Resumo

Apresentamos o Eagle 2.5, uma família de modelos de fronteira de linguagem-visual (VLMs) para aprendizado multimodal de contexto longo. Nosso trabalho aborda os desafios na compreensão de vídeos longos e no entendimento de imagens de alta resolução, introduzindo uma estrutura generalista para ambas as tarefas. O framework de treinamento proposto incorpora Amostragem Automática de Degradação e Preservação de Área de Imagem, duas técnicas que preservam a integridade contextual e os detalhes visuais. O framework também inclui diversas otimizações de eficiência no pipeline para o treinamento de dados de contexto longo. Por fim, propomos o Eagle-Video-110K, um novo conjunto de dados que integra anotações tanto em nível de história quanto em nível de clipe, facilitando o entendimento de vídeos longos. O Eagle 2.5 demonstra melhorias substanciais em benchmarks multimodais de contexto longo, oferecendo uma solução robusta para as limitações dos VLMs existentes. Notavelmente, nosso melhor modelo, o Eagle 2.5-8B, alcança 72,4% no Video-MME com 512 quadros de entrada, equiparando-se aos resultados de modelos comerciais de ponta, como o GPT-4o, e modelos de código aberto em grande escala, como o Qwen2.5-VL-72B e o InternVL2.5-78B.

English

We introduce Eagle 2.5, a family of frontier vision-language models (VLMs) for long-context multimodal learning. Our work addresses the challenges in long video comprehension and high-resolution image understanding, introducing a generalist framework for both tasks. The proposed training framework incorporates Automatic Degrade Sampling and Image Area Preservation, two techniques that preserve contextual integrity and visual details. The framework also includes numerous efficiency optimizations in the pipeline for long-context data training. Finally, we propose Eagle-Video-110K, a novel dataset that integrates both story-level and clip-level annotations, facilitating long-video understanding. Eagle 2.5 demonstrates substantial improvements on long-context multimodal benchmarks, providing a robust solution to the limitations of existing VLMs. Notably, our best model Eagle 2.5-8B achieves 72.4% on Video-MME with 512 input frames, matching the results of top-tier commercial model such as GPT-4o and large-scale open-source models like Qwen2.5-VL-72B and InternVL2.5-78B.