LiteFrame : Des encodeurs visuels efficaces permettent la mise à l'échelle des trames dans les LLMs vidéo

Résumé

Le défi fondamental du passage à l'échelle des grands modèles de langage vidéo (Video LLMs) pour les vidéos longues réside dans la gestion de l'explosion de la longueur du contexte des jetons visuels. Les stratégies existantes se concentrent principalement sur la réduction « *a posteriori* » des jetons — c'est-à-dire réduire les jetons visuels après l'extraction des caractéristiques afin d'alléger la charge de calcul du LLM. Bien que ces méthodes réduisent efficacement le nombre de jetons visuels, nous observons que le principal goulot d'étranglement de latence se déplace alors du LLM vers le traitement coûteux par image de l'encodeur visuel. Pour y remédier, nous présentons LiteFrame, un backbone d'encodeur vidéo robuste mais très efficace pour les Video LLMs. Pour entraîner LiteFrame, nous proposons la distillation de jetons compressés (CTD), un nouveau cadre d'apprentissage qui enseigne à un encodeur visuel étudiant compact à prédire directement des représentations spatio-temporellement compressées et denses en informations, produites par un grand modèle visuel enseignant, contournant ainsi efficacement les calculs redondants. Couplée à une adaptation ultérieure du modèle de langage (LMA), cette approche établit une nouvelle frontière de Pareto entre latence et précision — comparé à InternVL3-8B, LiteFrame offre une réduction de 35 % de la latence de bout en bout tout en traitant 8 fois plus d'images, et améliore la précision moyenne de compréhension vidéo sur plusieurs références. Nos résultats démontrent une nouvelle voie potentielle pour débloquer la compréhension de vidéos plus longues sous des budgets de calcul fixes.

English

The fundamental challenge in scaling Video Large Language Models (Video LLMs) to long-form video lies in managing the explosion of visual-token context length. Existing strategies predominantly focus on "post-hoc" token reduction -- reducing visual tokens after feature extraction to alleviate the LLM's computational overhead. While these methods effectively reduce the number of visual tokens, we observe that the primary latency bottleneck then shifts from the LLM to the expensive per-frame processing of the vision encoder. To address this, we introduce LiteFrame, a strong, yet highly efficient video encoder backbone for Video LLMs. To train LiteFrame, we propose Compressed Token Distillation (CTD), a novel training framework that teaches a compact student vision encoder to directly predict information-dense, spatio-temporally compressed representations produced by a large teacher vision model, effectively bypassing redundant computation. When coupled with further Language Model Adaptation (LMA), this approach results in a new latency-accuracy Pareto frontier -- compared with InternVL3-8B, LiteFrame provides a 35% reduction in end-to-end latency while processing 8times more frames and improves average video understanding accuracy across multiple benchmarks. Our results demonstrate a new potential path to unlocking longer-form video understanding under fixed compute budgets.