Eagle 2.5: Улучшение посттренировки для моделей с длинным контекстом в передовых моделях обработки зрения и языка

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

April 21, 2025

Авторы: Guo Chen, Zhiqi Li, Shihao Wang, Jindong Jiang, Yicheng Liu, Lidong Lu, De-An Huang, Wonmin Byeon, Matthieu Le, Tuomas Rintamaki, Tyler Poon, Max Ehrlich, Tuomas Rintamaki, Tyler Poon, Tong Lu, Limin Wang, Bryan Catanzaro, Jan Kautz, Andrew Tao, Zhiding Yu, Guilin Liu

cs.AI

Аннотация

Мы представляем Eagle 2.5 — семейство передовых моделей для обработки визуально-языковых данных (VLMs), предназначенных для мультимодального обучения с длинным контекстом. Наша работа решает задачи, связанные с пониманием длинных видео и анализом изображений высокого разрешения, предлагая универсальную архитектуру для обоих направлений. Предложенная обучающая архитектура включает в себя методы Automatic Degrade Sampling и Image Area Preservation, которые сохраняют целостность контекста и визуальных деталей. Кроме того, в рамках архитектуры реализованы многочисленные оптимизации для эффективной обработки данных с длинным контекстом. Мы также представляем Eagle-Video-110K — новый набор данных, объединяющий аннотации на уровне сюжета и отдельных фрагментов, что способствует пониманию длинных видео. Eagle 2.5 демонстрирует значительные улучшения на мультимодальных бенчмарках с длинным контекстом, предлагая надежное решение для ограничений существующих VLMs. В частности, наша лучшая модель Eagle 2.5-8B достигает 72,4% на Video-MME при обработке 512 входных кадров, что соответствует результатам ведущих коммерческих моделей, таких как GPT-4o, и крупномасштабных открытых моделей, таких как Qwen2.5-VL-72B и InternVL2.5-78B.

English

We introduce Eagle 2.5, a family of frontier vision-language models (VLMs) for long-context multimodal learning. Our work addresses the challenges in long video comprehension and high-resolution image understanding, introducing a generalist framework for both tasks. The proposed training framework incorporates Automatic Degrade Sampling and Image Area Preservation, two techniques that preserve contextual integrity and visual details. The framework also includes numerous efficiency optimizations in the pipeline for long-context data training. Finally, we propose Eagle-Video-110K, a novel dataset that integrates both story-level and clip-level annotations, facilitating long-video understanding. Eagle 2.5 demonstrates substantial improvements on long-context multimodal benchmarks, providing a robust solution to the limitations of existing VLMs. Notably, our best model Eagle 2.5-8B achieves 72.4% on Video-MME with 512 input frames, matching the results of top-tier commercial model such as GPT-4o and large-scale open-source models like Qwen2.5-VL-72B and InternVL2.5-78B.