OmniDelta: OmniLLM의 토큰 압축을 위한 스킬 기반 예산 할당

초록

최근 등장한 옴니모달 대규모 언어 모델(OmniLLM)은 텍스트, 오디오, 비디오의 통합 이해를 가능하게 하지만, 오디오-비디오 토큰 시퀀스가 길어짐에 따라 상당한 메모리 및 추론 비용이 발생한다. 기존 압축 방법은 주로 고정된 예산 하에서 중요한 토큰을 선택하는 데 초점을 맞추고 있으며, 선행하는 예산 할당 문제는 충분히 탐구되지 않았다. 우리는 쿼리와 오디오/비디오 간의 직접적인 유사도가 모달 간 예산 할당에 신뢰할 수 없으며, 균일한 모달 내 예산은 중복 콘텐츠를 유지하면서 핵심 증거를 놓칠 수 있음을 보여준다. 이러한 한계를 해결하기 위해, 우리는 훈련이 필요 없는 스킬 기반 프레임워크인 OmniDelta를 제안한다. 이는 의도 인식 모달 간 할당과 콘텐츠 인식 모달 내 할당을 결합한다. OmniDelta는 먼저 오디오 및 비디오 스킬 풀을 구성하여 고정된 유지 토큰 예산을 쿼리 수요에 따라 이동시키고, 그 다음 지역적 복잡성과 시간적 중복성을 사용하여 오디오 세그먼트와 비디오 프레임에 걸쳐 모달 예산을 재할당한다. 결과적으로 얻어진 지역 예산은 기존 가지치기 전략과 결합될 수 있으며, 예산이 사용되는 위치를 변경하면서 전체 유지 토큰 비율을 유지한다. 두 개의 Qwen2.5-Omni 모델을 사용한 네 가지 오디오-비디오 벤치마크 실험에서 OmniDelta는 가지치기 비율 전반에 걸쳐 새로운 정확도-효율성 파레토 경계를 설정함을 보여준다. Qwen2.5-Omni-7B에서 25% 토큰 유지 시, OmniDelta는 GPU 메모리를 22.0% 감소시키고 전체 토큰 추론 대비 1.64배의 종단 간 속도 향상을 달성한다.

English

Emerging Omni-modal Large Language Models (OmniLLMs) enable unified understanding of text, audio, and video, but their long audio-video token sequences introduce substantial memory and inference costs. Existing compression methods mainly focus on selecting important tokens under fixed budgets, leaving the preceding budget-allocation problem underexplored. We show that direct query-to-audio/video similarity is unreliable for inter-modal budget allocation, and that uniform intra-modal budgets can miss key evidence while retaining redundant content. To address these limitations, we propose OmniDelta, a training-free, skill-driven framework that couples intent-aware inter-modal allocation with content-aware intra-modal allocation. OmniDelta first constructs audio and video skill pools to shift the fixed retained-token budget according to query demand, then reallocates modality budgets over audio segments and video frames using local complexity and temporal redundancy. The resulting local budgets can be combined with existing pruning strategies, preserving the total retained-token ratio while changing where the budget is spent. Experiments on four audio-video benchmarks with two Qwen2.5-Omni models show that OmniDelta establishes a new accuracy-efficiency Pareto frontier across pruning ratios. At 25% token retention on Qwen2.5-Omni-7B, OmniDelta reduces GPU memory by 22.0% and achieves a 1.64x end-to-end speedup over full-token inference.