OmniPack: 효율적인 옴니모달 대규모 언어 모델을 위한 통합 토큰 압축

초록

옴니모달 대규모 언어 모델(Omni-LLM)은 오디오-비주얼 이해 작업에서 놀라운 성능을 달성했지만, 길고 중복도가 높은 시각 및 오디오 토큰 시퀀스를 처리하는 과정에서 상당한 계산 오버헤드가 발생하므로 효율적인 배포를 위해서는 적극적인 토큰 압축이 필수적이다. 기존 방법들은 낮은 토큰 예산에서 성능이 저하되는 경우가 많다. LLM 이전 단계의 압축은 구조적으로 중요하고 전역적으로 분포된 증거를 누락할 수 있는 반면, LLM 내부 압축은 쿼리 조건부 오디오-시각 협력을 충분히 활용하지 못하는 경향이 있다. 이러한 한계를 해결하기 위해 우리는 LLM 이전의 구조적 압축과 LLM 내부의 작업 관련 의미 정제를 조율하는 학습 불필요(training-free) 프레임워크인 OmniPack을 제안한다. OmniPack은 LLM 이전 단계에서 모달리티별 중요도, 전역 커버리지, 유사도 기반 병합을 통해 구조적 중복을 제거한다. 충분한 멀티모달 상호작용 이후에는 텍스트 안내와 오디오-시각 협력을 통해 다양하고 작업 관련된 표현을 추가로 통합한다. 세 가지 Omni-LLM 백본과 다섯 가지 벤치마크에 걸친 광범위한 실험을 통해 OmniPack이 다양한 유지 비율에서 기존 모든 방법보다 지속적으로 우수한 성능-효율 트레이드오프를 달성함을 입증한다. 특히 Qwen2.5-Omni-7B에서 OmniPack은 원래 성능의 98.0%를 유지하면서 FLOPs를 16.7%로 줄였으며, 원래 FLOPs의 6.8%만으로도 원래 성능의 92.9%를 유지한다.

English

Omni-modal large language models (Omni-LLMs) have achieved remarkable performance on audio-visual understanding tasks, but processing long and highly redundant visual and audio token sequences incurs substantial computational overhead, demanding aggressive token compression for efficient deployment. Existing methods often degrade at low token budgets: pre-LLM compression may discard structurally important and globally distributed evidence, whereas inner-LLM compression often underexploits query-conditioned audio-visual collaboration. To address these limitations, we propose OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM. Before the LLM, OmniPack removes structural redundancy through modality-specific importance, global coverage, and similarity-aware merging. After sufficient multimodal interaction, it further consolidates diverse, task-relevant representations through textual guidance and audio-visual collaboration. Extensive experiments on five benchmarks with three Omni-LLM backbones demonstrate that OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios, outperforming all existing methods. Notably, on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%, and still retains 92.9% of the original performance with only 6.8% of the original FLOPs.