OmniDelta: OmniLLMにおけるトークン圧縮のためのスキル駆動予算配分

要旨

出現しつつあるオムニモーダル大規模言語モデル（OmniLLM）は、テキスト、音声、および動画の統合的な理解を可能にするが、その長大な音声・動画トークン系列は、多大なメモリと推論コストを伴う。既存の圧縮手法は主に、固定予算のもとで重要なトークンを選択することに焦点を当てており、その前段階であるモーダル間の予算配分問題は十分に検討されていない。本論文では、クエリと音声/動画間の直接的な類似度はモーダル間予算配分には信頼性が低く、またモーダル内で一様な予算配分を行うと、冗長な内容を保持する一方で重要な証拠を見逃す可能性があることを示す。これらの限界に対処するため、我々はOmniDeltaを提案する。これは学習不要のスキル駆動型フレームワークであり、意図認識型のモーダル間割り当てと内容認識型のモーダル内割り当てを結合する。OmniDeltaはまず、音声と動画のスキルプールを構築し、クエリの要求に応じて固定された保持トークン予算をシフトさせる。次に、局所的な複雑性と時間的冗長性を用いて、音声セグメントと動画フレーム間でモーダル予算を再配分する。得られた局所予算は既存の刈り込み戦略と組み合わせることができ、総保持トークン比率を維持しつつ、予算が費やされる箇所を変更する。2つのQwen2.5-Omniモデルを用いた4つの音声・動画ベンチマークにおける実験により、OmniDeltaが刈り込み比率全体にわたって新たな精度-効率パレートフロンティアを確立することを示す。Qwen2.5-Omni-7Bにおける25%のトークン保持率において、OmniDeltaはGPUメモリを22.0%削減し、全トークン推論と比較して1.64倍のエンドツーエンド高速化を達成する。

English

Emerging Omni-modal Large Language Models (OmniLLMs) enable unified understanding of text, audio, and video, but their long audio-video token sequences introduce substantial memory and inference costs. Existing compression methods mainly focus on selecting important tokens under fixed budgets, leaving the preceding budget-allocation problem underexplored. We show that direct query-to-audio/video similarity is unreliable for inter-modal budget allocation, and that uniform intra-modal budgets can miss key evidence while retaining redundant content. To address these limitations, we propose OmniDelta, a training-free, skill-driven framework that couples intent-aware inter-modal allocation with content-aware intra-modal allocation. OmniDelta first constructs audio and video skill pools to shift the fixed retained-token budget according to query demand, then reallocates modality budgets over audio segments and video frames using local complexity and temporal redundancy. The resulting local budgets can be combined with existing pruning strategies, preserving the total retained-token ratio while changing where the budget is spent. Experiments on four audio-video benchmarks with two Qwen2.5-Omni models show that OmniDelta establishes a new accuracy-efficiency Pareto frontier across pruning ratios. At 25% token retention on Qwen2.5-Omni-7B, OmniDelta reduces GPU memory by 22.0% and achieves a 1.64x end-to-end speedup over full-token inference.