Dividir, depois Fundamentar: Adaptando a Seleção de Quadros aos Tipos de Consulta para a Compreensão de Vídeos de Longa Duração

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

December 3, 2025

Autores: Jialuo Li, Bin Li, Jiahao Li, Yan Lu

cs.AI

Resumo

A aplicação de Modelos Multimodais de Grande Porte (LMMs) na compreensão de vídeos de longa duração é limitada pelos contextos de extensão reduzida e pelo custo computacional proibitivo do processamento de *tokens* de vídeo densos. Consequentemente, pesquisas recentes têm-se concentrado na seleção de *frames* consciente da consulta, métodos que frequentemente acarretam uma sobrecarga computacional significativa. Este artigo questiona a premissa de que tais mecanismos complexos de busca são universalmente necessários. Primeiro, identificamos e validamos uma tipologia de consulta que distingue entre consulta global e consulta localizada. Demonstramos que, embora a amostragem uniforme seja eficaz e eficiente para consultas globais, as consultas localizadas de fato exigem seleção consciente da consulta para um desempenho ideal. Com base nessa perceção, propomos o DIG, um *framework* de seleção de *frames* sem necessidade de treino que adapta a sua estratégia consoante o tipo de consulta. Especificamente, o DIG emprega uma amostragem uniforme eficiente para consultas globais, enquanto ativa um *pipeline* especializado para extrair *frames* relevantes para a consulta no caso de consultas localizadas. Experiências realizadas em três *benchmarks* de compreensão de vídeos de longa duração demonstram que o DIG supera consistentemente as *baselines* existentes e melhora robustamente o desempenho dos LMMs, mesmo quando o número de *frames* de entrada é escalado para 256.

English

The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.