Verdeel, dan Grond: Aanpassing van Frame-selectie aan Query-types voor Begrip van Lange Video's

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

December 3, 2025

Auteurs: Jialuo Li, Bin Li, Jiahao Li, Yan Lu

cs.AI

Samenvatting

De toepassing van Large Multimodal Models (LMMs) op langdurige videobegrip wordt beperkt door beperkte contextlengtes en de computationeel onhoudbare kost van het verwerken van dichte videotokens. Bijgevolg richt recent onderzoek zich op query-aware frameselectie, methoden die vaak aanzienlijke computationele overhead met zich meebrengen. Dit artikel betwist de aanname dat dergelijke complexe zoekmechanismen universeel noodzakelijk zijn. We identificeren en valideren eerst een querytypologie die onderscheid maakt tussen globale queries en gelokaliseerde queries. We tonen aan dat uniforme steekproeven zowel effectief als efficiënt zijn voor globale queries, terwijl gelokaliseerde queries inderdaad query-aware selectie vereisen voor optimale prestaties. Voortbouwend op dit inzicht stellen we DIG voor, een trainingsvrij frameselectiekader dat zijn strategie aanpast op basis van het querytype. Specifiek gebruikt DIG efficiënte uniforme steekproeven voor globale queries, terwijl het een gespecialiseerde pijplijn activeert om queryrelevante frames te extraheren voor gelokaliseerde queries. Experimenten op drie benchmarks voor langdurige videobegrip tonen aan dat DIG consequent beter presteert dan bestaande basislijnen en de prestaties van LMMs robuust verbetert, zelfs wanneer het aantal invoerframes wordt opgeschaald naar 256.

English

The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.