OmniScope: オムニモーダル大規模言語モデルのためのモダリティ分離型トークン圧縮

要旨

既存のオムニモーダル大規模言語モデル向けトークン圧縮手法は、典型的にはあるモダリティを基準として、もう一方のモダリティで保持すべきトークンを決定する。本研究では、この前提がしばしば成り立たないことを示す。同じクエリに対して、音声と映像の関連性は異なる時点でピークに達することが多いのである。このモーダル間の顕著性の不一致により、単方向ガイダンスは高圧縮下で回答に決定的な手がかりを破棄しやすくなる。そこで本研究では、クエリを共有の意味的アンカーとして使用しつつ、音声と映像の関連性を別々に推定する、トレーニング不要のトークン圧縮フレームワークであるOmniScopeを提案する。OmniScopeは、モダリティ固有のトークン予算を割り当て、グローバルな文脈と時間的変化の両方を保持するアンカー差分戦略を用いて視覚トークンを刈り込み、さらに1秒単位で音声トークンを統合することで冗長性を削減しつつ時間的連続性を維持する。4つの音声・映像ベンチマークと2つのQwen2.5-Omniモデル規模にわたる評価において、OmniScopeはすべての圧縮設定で最高の平均精度を達成する。全体のトークン保持率25%では、平均精度の低下がわずか0.35ポイントに留まる一方、最大3.53倍のプリフィル高速化と15%以上のGPUメモリ削減を実現する。これらの結果は、OmniLLM推論における単純な設計原則を示唆する。すなわち、クエリはモダリティ間で共有する一方で、顕著性の推定値は共有しないという原則である。コードはhttps://github.com/MAC-AutoML/OmniScopeで公開されている。

English

Existing token compression methods for omnimodal large language models typically rely on one modality to determine what to retain in the other. We show that this assumption often breaks down: for the same query, audio and video relevance often peaks at different moments. This cross-modal salience mismatch makes unidirectional guidance prone to discarding answer-critical cues under aggressive compression. We propose OmniScope, a training-free token compression framework that uses the query as a shared semantic anchor while estimating relevance separately for audio and video. OmniScope allocates modality-specific token budgets, prunes visual tokens with an anchor-delta strategy that preserves both global context and temporal changes, and merges audio tokens within each second to reduce redundancy while maintaining temporal continuity. Across four audio-video benchmarks and two Qwen2.5-Omni model scales, OmniScope achieves the best average accuracy across all compression settings. At 25% overall token retention, it delivers up to 3.53x prefill speedup and more than 15% GPU memory reduction, with only a 0.35-point drop in average accuracy. These results suggest a simple design principle for OmniLLM inference: share the query across modalities, but not the salience estimates. The code is available at https://github.com/MAC-AutoML/OmniScope.