選択、圧縮、再投資：長尺動画MLLMにおける視覚トークン配分の統制研究

要旨

長時間動画言語モデルはすべてのフレームを参照できるわけではない。1秒に1回サンプリングした1時間の動画は3,600枚の画像となり、システムはそのプールの中から小さな固定スライスだけを保持する。どのフレームがそのスライスに残るかは通常、前処理の細部と見なされるが、我々はそれがそう見なされるべきかを検証する。既存のフレーム選択手法は、フレームのスコアリング手法、プロンプト境界、解像度ポリシー、応答モデルを一度にすべて変更するため、比較を困難にしている。我々は各要素を固定し、選択、空間圧縮、そして削減分の再投資という1つの決定のみを一度に変えて、学習を必要としない6種類の選択規則、3つの長時間動画ベンチマーク、2つの応答モデルにわたって評価する。選択は単一の要因として最大の影響を持つ。LongVideoBenchの1時間区分では、クエリ選択された8フレームが均等間隔の16フレームを6.9ポイント上回り、改変されていない数十年前のスパース近似アルゴリズムである直交マッチング追跡（Orthogonal Matching Pursuit）は、比較対象としたすべての専用設計セレクタに対して、3つのベンチマークすべてで同等か、1ポイント以内の差に収まる。圧縮はほぼコストなしである。タイムスタンプを固定したまま各フレームの空間予算を半分にしても、そのコストは最大0.44ポイントにとどまる。再投資こそ、その予算を精度へと還元する場である。解放されたトークンを、元の8枚と同程度以下の測定コストで、2倍の数の圧縮フレームに費やすと、さらに2〜3ポイントの改善が得られる。圧縮の利得は、その節約分をこのように使ったときにのみ現れる。その過程で、私たち自身のAKSベースラインにおける実装バグと、同じ公開規則・同じ予算を実行する2つのハーネス間の0.07〜3.74ポイントの差は、こうした比較が論文間ではなく、統制された単一のハーネス内で行われるべき理由を示している。

English

Long-video language models cannot look at every frame: an hour sampled once per second is 3,600 images, and a system keeps only a small fixed slice of that pool. Which frames survive that slice is usually treated as a preprocessing detail; we test whether it should be. Published selectors make the comparison hard because they change the frame scorer, the prompt boundary, the resolution policy, and the answering model all at once. We hold each fixed and vary one decision at a time: selection, spatial compression, and reinvestment of the savings, across six training-free selection rules, three long-video benchmarks, and two answering models. Selection is the largest single lever: on LongVideoBench's hour-long bin, eight query-selected frames beat sixteen uniformly spaced ones by 6.9 points, and Orthogonal Matching Pursuit, an unmodified decades-old sparse-approximation algorithm, matches or comes within a point of every purpose-built selector we compare it against, across all three benchmarks. Compression is close to free: halving each frame's spatial budget at fixed timestamps costs at most 0.44 points. Reinvestment is where that budget turns back into accuracy: spending the freed tokens on twice as many compressed frames, at a measured cost no higher than the original eight, returns a further two to three points; compression only pays off once its savings are spent this way. Along the way, an implementation bug in our own AKS baseline and a 0.07 to 3.74 point gap between two harnesses running the same published rules at the same budget show why these comparisons need to happen inside one controlled harness rather than across papers.