Diviser puis ancrer : Adapter la sélection de trames aux types de requêtes pour la compréhension vidéo de longue durée

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

December 3, 2025

papers.authors: Jialuo Li, Bin Li, Jiahao Li, Yan Lu

cs.AI

papers.abstract

L'application des modèles multimodaux de grande taille (LMMs) à la compréhension de vidéos longues est limitée par la longueur de contexte restreinte et le coût computationnel prohibitif du traitement des tokens vidéo denses. Par conséquent, les recherches récentes se sont concentrées sur la sélection de trames sensible à la requête, des méthodes qui entraînent souvent une surcharge computationnelle significative. Cet article remet en cause l'hypothèse selon laquelle de tels mécanismes de recherche complexes sont universellement nécessaires. Nous identifions et validons d'abord une typologie de requêtes distinguant la requête globale de la requête localisée. Nous démontrons que si l'échantillonnage uniforme est à la fois efficace et efficient pour les requêtes globales, les requêtes localisées nécessitent effectivement une sélection sensible à la requête pour des performances optimales. En nous appuyant sur cette observation, nous proposons DIG, un cadre de sélection de trames sans apprentissage qui adapte sa stratégie en fonction du type de requête. Concrètement, DIG utilise un échantillonnage uniforme efficace pour les requêtes globales tout en activant un pipeline spécialisé pour extraire les trames pertinentes pour les requêtes localisées. Les expériences menées sur trois benchmarks de compréhension de vidéos longues démontrent que DIG surpasse constamment les méthodes de référence existantes et améliore robustement les performances des LMM, même lorsque le nombre de trames en entrée est augmenté jusqu'à 256.

English

The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.