LiteFrame: Эффективные визуальные энкодеры раскрывают масштабирование кадров в видео-LLM

Аннотация

Основная проблема масштабирования видео-больших языковых моделей (Video LLMs) для работы с длинными видеороликами заключается в управлении ростом длины контекста визуальных токенов. Существующие стратегии в основном сосредоточены на «пост-фактум» сокращении токенов – уменьшении количества визуальных токенов после извлечения признаков для снижения вычислительной нагрузки на языковую модель. Хотя эти методы эффективно сокращают число визуальных токенов, мы замечаем, что основное узкое место по задержке тогда смещается с языковой модели на дорогостоящую покадровую обработку кодировщика изображений. Для решения этой проблемы мы представляем LiteFrame – эффективный и при этом мощный видеокодировщик для Video LLMs. Для обучения LiteFrame мы предлагаем дистилляцию сжатых токенов (Compressed Token Distillation, CTD) – новую обучающую схему, которая учит компактный кодировщик изображений напрямую предсказывать информационно-насыщенные пространственно-временно сжатые представления, порождаемые большой моделью-учителем, фактически обходя избыточные вычисления. В сочетании с дальнейшей адаптацией языковой модели (Language Model Adaptation, LMA) этот подход позволяет достичь новой границы Парето по задержке и точности: по сравнению с InternVL3-8B LiteFrame обеспечивает снижение сквозной задержки на 35% при обработке в 8 раз большего числа кадров и повышает среднюю точность понимания видео по нескольким бенчмаркам. Наши результаты демонстрируют новый потенциальный путь к пониманию более длинных видеороликов при фиксированном бюджете вычислений.

English

The fundamental challenge in scaling Video Large Language Models (Video LLMs) to long-form video lies in managing the explosion of visual-token context length. Existing strategies predominantly focus on "post-hoc" token reduction -- reducing visual tokens after feature extraction to alleviate the LLM's computational overhead. While these methods effectively reduce the number of visual tokens, we observe that the primary latency bottleneck then shifts from the LLM to the expensive per-frame processing of the vision encoder. To address this, we introduce LiteFrame, a strong, yet highly efficient video encoder backbone for Video LLMs. To train LiteFrame, we propose Compressed Token Distillation (CTD), a novel training framework that teaches a compact student vision encoder to directly predict information-dense, spatio-temporally compressed representations produced by a large teacher vision model, effectively bypassing redundant computation. When coupled with further Language Model Adaptation (LMA), this approach results in a new latency-accuracy Pareto frontier -- compared with InternVL3-8B, LiteFrame provides a 35% reduction in end-to-end latency while processing 8times more frames and improves average video understanding accuracy across multiple benchmarks. Our results demonstrate a new potential path to unlocking longer-form video understanding under fixed compute budgets.