OmniPack: 効率的なオムニモーダル大規模言語モデルのための統一的トークン圧縮

要旨

オムニモーダル大規模言語モデル（Omni-LLM）は、音声・視覚理解タスクにおいて顕著な性能を達成しているが、長く冗長性の高い視覚・音声トークン系列を処理するには多大な計算オーバーヘッドを要し、効率的なデプロイには大幅なトークン圧縮が求められる。既存手法は低トークン予算においてしばしば性能が低下する。LLM前の圧縮は構造的に重要で大局的に分布する証拠を捨て去る可能性があり、LLM内圧縮はクエリ条件付きの音声・視覚協調を十分に活用しないことが多い。これらの限界に対処するため、我々はOmniPackを提案する。これは、LLMの前で構造的圧縮を調整し、LLM内でタスク関連の意味的洗練を行う訓練不要のフレームワークである。LLMの前に、OmniPackはモダリティ固有の重要度、グローバル被覆、類似度考慮型マージを通じて構造的冗長性を除去する。十分なマルチモーダル相互作用の後、テキストガイダンスと音声・視覚の協調を通じて、多様でタスク関連の表現をさらに統合する。3つのOmni-LLMバックボーンを用いた5つのベンチマークでの広範な実験により、OmniPackが多様な保持比率にわたって常に最良の性能・効率トレードオフを達成し、既存のすべての手法を上回ることが実証された。特に、Qwen2.5-Omni-7Bでは、OmniPackはFLOPsを16.7%に削減しつつ元の性能の98.0%を維持し、さらにFLOPsを6.8%に抑えた場合でも元の性能の92.9%を保持する。

English

Omni-modal large language models (Omni-LLMs) have achieved remarkable performance on audio-visual understanding tasks, but processing long and highly redundant visual and audio token sequences incurs substantial computational overhead, demanding aggressive token compression for efficient deployment. Existing methods often degrade at low token budgets: pre-LLM compression may discard structurally important and globally distributed evidence, whereas inner-LLM compression often underexploits query-conditioned audio-visual collaboration. To address these limitations, we propose OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM. Before the LLM, OmniPack removes structural redundancy through modality-specific importance, global coverage, and similarity-aware merging. After sufficient multimodal interaction, it further consolidates diverse, task-relevant representations through textual guidance and audio-visual collaboration. Extensive experiments on five benchmarks with three Omni-LLM backbones demonstrate that OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios, outperforming all existing methods. Notably, on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%, and still retains 92.9% of the original performance with only 6.8% of the original FLOPs.