段階適応型トークン選択による効率的オムニモーダルLLM

要旨

全モーダル大規模言語モデル（om-LLM）は、映像と音声をウィンドウレベルでインターリーブされた時間的に整合したトークン系列にエンコードすることで、統一的な視聴覚理解を実現する。しかし、これらの高密度な非言語トークンをLLM全体で処理するには、多大な計算負荷が伴う。学習不要のトークン選択はこのコストを削減できるが、既存手法は視覚入力のみに焦点を当てるか、固定のモーダル別比率でLLMに入力する前にのみom-LLMトークンを刈り込むため、クロスモーダルトークンの重要度が層をまたいでどのように変化するかを捉えられていない。この制限に対処するため、我々はまずom-LLMにおける層別トークン依存性を解析する。その結果、視覚と音声の依存性はブロック単位のパターンを示し、深層になるにつれて徐々に弱まることが分かった。これは、クロスモーダル融合後に多くの後層の非言語トークンが冗長になることを示唆している。この観察に基づき、我々は効率的なom-LLM推論のための学習不要かつ段階適応型トークン選択手法SEATSを提案する。LLMの前段では、注意重み付き多様性選択により時空間冗長性を除去する。LLM内部では、ブロック間でトークンを段階的に刈り込み、クエリ関連度スコアを用いて時間ウィンドウからモーダルへ保持予算を動的に配分する。後層では、クロスモーダル融合が完了次第、残りの非言語トークンをすべて除去する。Qwen2.5-OmniおよびQwen3-Omniを用いた実験により、SEATSが推論効率を効果的に向上させることが示された。視覚トークンと音声トークンの10%のみを保持した場合、9.3倍のFLOPs削減と4.8倍のプリフィル高速化を達成しつつ、元の性能の96.3%を維持する。

English

Omni-modal large language models (om-LLMs) achieve unified audio-visual understanding by encoding video and audio into temporally aligned token sequences interleaved at the window level. However, processing these dense non-textual tokens throughout the LLM incurs substantial computational overhead. Although training-free token selection can reduce this cost, existing methods either focus on visual-only inputs or prune om-LLM tokens only before the LLM with fixed per-modality ratios, failing to capture how cross-modal token importance evolves across layers. To address this limitation, we first analyze the layer-wise token dependency of om-LLMs. We find that visual and audio dependencies follow a block-wise pattern and gradually weaken with depth, indicating that many late-layer non-textual tokens become redundant after cross-modal fusion. Motivated by this observation, we propose SEATS, a training-free, stage-adaptive token selection method for efficient om-LLM inference. Before the LLM, SEATS removes spatiotemporal redundancy via attention-weighted diversity selection. Inside the LLM, it progressively prunes tokens across blocks and dynamically allocates the retention budget from temporal windows to modalities using query relevance scores. In late layers, it removes all remaining non-textual tokens once cross-modal fusion is complete. Experiments on Qwen2.5-Omni and Qwen3-Omni demonstrate that SEATS effectively improves inference efficiency. Retaining only 10% of visual and audio tokens, it achieves a 9.3x FLOPs reduction and a 4.8x prefill speedup while preserving 96.3% of the original performance.