Dividir y luego fundamentar: Adaptación de la selección de tramas a tipos de consulta para la comprensión de videos de larga duración

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

December 3, 2025

Autores: Jialuo Li, Bin Li, Jiahao Li, Yan Lu

cs.AI

Resumen

La aplicación de Modelos Multimodales Grandes (LMMs) a la comprensión de vídeos de larga duración se ve limitada por las longitudes de contexto restringidas y el costo computacionalmente prohibitivo de procesar tokens de vídeo densos. En consecuencia, investigaciones recientes se han centrado en la selección de fotogramas sensible a la consulta, métodos que a menudo conllevan una sobrecarga computacional significativa. Este artículo cuestiona la suposición de que tales mecanismos de búsqueda complejos son universalmente necesarios. Primero identificamos y validamos una tipología de consultas que distingue entre consulta global y consulta localizada. Demostramos que, si bien el muestreo uniforme es eficaz y eficiente para consultas globales, las consultas localizadas sí requieren una selección sensible a la consulta para un rendimiento óptimo. Basándonos en esta idea, proponemos DIG, un marco de selección de fotogramas que no requiere entrenamiento y que adapta su estrategia según el tipo de consulta. Específicamente, DIG emplea un muestreo uniforme eficiente para consultas globales, mientras activa una canalización especializada para extraer fotogramas relevantes para la consulta en el caso de consultas localizadas. Los experimentos en tres benchmarks de comprensión de vídeos de larga duración demuestran que DIG supera consistentemente los métodos de referencia existentes y mejora de forma robusta el rendimiento de los LMM, incluso cuando se escala el número de fotogramas de entrada a 256.

English

The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.