OmniScope: 옴니모달 대규모 언어 모델을 위한 모달리티 분리 토큰 압축

초록

기존의 전모달리티 대형 언어 모델을 위한 토큰 압축 방법은 일반적으로 한 가지 모달리티를 활용하여 다른 모달리티에서 무엇을 유지할지 결정한다. 우리는 이러한 가정이 종종 성립하지 않음을 보여준다: 동일한 질의에 대해 오디오와 비디오의 관련성은 서로 다른 시점에 정점에 도달하는 경우가 많다. 이러한 교차 모달리티 현저성 불일치는 단방향 안내가 과도한 압축 하에서 답변에 중요한 단서를 버리기 쉽게 만든다. 우리는 OmniScope를 제안한다. 이는 학습 없이 동작하는 토큰 압축 프레임워크로, 질의를 공유된 의미적 앵커로 사용하면서 오디오와 비디오의 관련성을 각각 별도로 추정한다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 문맥과 시간적 변화를 모두 보존하는 앵커-델타 전략으로 시각 토큰을 가지치기하며, 각 초 내의 오디오 토큰을 병합하여 중복을 줄이면서 시간적 연속성을 유지한다. 네 개의 오디오-비디오 벤치마크와 두 가지 Qwen2.5-Omni 모델 규모에 걸쳐 OmniScope는 모든 압축 설정에서 최고의 평균 정확도를 달성한다. 전체 토큰 유지율 25%에서 최대 3.53배의 프리필 속도 향상과 15% 이상의 GPU 메모리 절감을 제공하면서 평균 정확도는 단 0.35포인트만 하락한다. 이러한 결과는 OmniLLM 추론을 위한 간단한 설계 원칙을 시사한다: 질의는 모달리티 간에 공유하되, 현저성 추정치는 공유하지 말아야 한다. 코드는 https://github.com/MAC-AutoML/OmniScope에서 확인할 수 있다.

English

Existing token compression methods for omnimodal large language models typically rely on one modality to determine what to retain in the other. We show that this assumption often breaks down: for the same query, audio and video relevance often peaks at different moments. This cross-modal salience mismatch makes unidirectional guidance prone to discarding answer-critical cues under aggressive compression. We propose OmniScope, a training-free token compression framework that uses the query as a shared semantic anchor while estimating relevance separately for audio and video. OmniScope allocates modality-specific token budgets, prunes visual tokens with an anchor-delta strategy that preserves both global context and temporal changes, and merges audio tokens within each second to reduce redundancy while maintaining temporal continuity. Across four audio-video benchmarks and two Qwen2.5-Omni model scales, OmniScope achieves the best average accuracy across all compression settings. At 25% overall token retention, it delivers up to 3.53x prefill speedup and more than 15% GPU memory reduction, with only a 0.35-point drop in average accuracy. These results suggest a simple design principle for OmniLLM inference: share the query across modalities, but not the salience estimates. The code is available at https://github.com/MAC-AutoML/OmniScope.