分割して接地：長尺動画理解のためのクエリタイプに適応するフレーム選択手法

要旨

大規模マルチモーダルモデル（LMM）を長時間映像理解に応用する際には、限られたコンテキスト長と、高密度な映像トークン処理に伴う計算コストの膨大さが制約となっている。このため、近年の研究はクエリを考慮したフレーム選択に焦点が当てられてきたが、これらの手法にはしばしば多大な計算オーバーヘッドが生じる。本論文は、このような複雑な検索メカニズムが普遍的に必要であるという前提に疑問を投げかける。我々はまず、グローバルクエリとローカライズドクエリを区別するクエリ分類を特定し、検証する。均一サンプリングがグローバルクエリに対して有効かつ効率的であるのに対し、ローカライズドクエリでは最適な性能を得るために確かにクエリを考慮した選択が必要であることを実証する。この知見に基づき、クエリタイプに応じて戦略を適応させる、学習不要のフレーム選択フレームワークであるDIGを提案する。具体的には、DIGはグローバルクエリに対しては効率的な均一サンプリングを採用し、ローカライズドクエリに対しては、クエリに関連するフレームを抽出する専用のパイプラインを起動する。3つの長時間映像理解ベンチマークを用いた実験により、DIGが既存のベースラインを一貫して上回り、入力フレーム数を256にスケーリングした場合でも、LMMの性能を堅牢に向上させることを実証する。

English

The application of Large Multimodal Models (LMMs) to long-form video understanding is constrained by limited context lengths and the computationally prohibitive cost of processing dense video tokens. Consequently, recent research has focused on query-aware frame selection, methods that often incur significant computational overhead. This paper challenges the assumption that such complex search mechanisms are universally necessary. We first identify and validate a query typology distinguishing between global query and localized query. We demonstrate that while uniform sampling is both effective and efficient for global queries, localized queries indeed necessitate query-aware selection for optimal performance. Building on this insight, we propose DIG, a training-free frame selection framework that adapts its strategy based on the query type. Specifically,DIG employs efficient uniform sampling for global queries while activating a specialized pipeline to extract query-relevant frames for localized queries. Experiments on three long-form video understanding benchmarks demonstrate that DIG consistently outperforms existing baselines and robustly improves LMM performance, even when scaling the input frame count to 256.

分割して接地：長尺動画理解のためのクエリタイプに適応するフレーム選択手法

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

要旨

Support