OmniZip: Compressione Dinamica dei Token Guidata dall'Audio per Modelli Linguistici Multimodali Veloci
OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models
November 18, 2025
Autori: Keda Tao, Kele Shao, Bohan Yu, Weiqiang Wang, Jian liu, Huan Wang
cs.AI
Abstract
I modelli linguistici di grandi dimensioni onnimodali (OmniLLM) stanno attirando un'attenzione di ricerca crescente per la comprensione unificata audio-video, sebbene l'elaborazione delle sequenze di token audiovisivi crei un significativo collo di bottiglia computazionale. I metodi esistenti di compressione dei token non hanno ancora soddisfatto questa emergente necessità di comprimere congiuntamente i token multimodali. Per colmare questa lacuna, presentiamo OmniZip, un framework di compressione token audiovisiva guidata dall'audio, senza necessità di addestramento, che ottimizza la rappresentazione dei token multimodali e accelera l'inferenza. Nello specifico, OmniZip identifica prima i token audio salienti, quindi calcola un punteggio di ritenzione audio per ogni gruppo temporale per catturare la densità informativa, guidando dinamicamente la potatura dei token video e preservando gli indizi dagli anchor audio potenziati dalla similarità cross-modale. Per ogni finestra temporale, OmniZip comprime i token video utilizzando uno schema spazio-temporale interlacciato. Risultati empirici estensivi dimostrano i meriti di OmniZip: raggiunge un'accelerazione dell'inferenza di 3,42X e una riduzione della memoria di 1,4X rispetto ad altre controparti di alto livello, mantenendo le prestazioni senza alcun addestramento.
English
Omnimodal large language models (OmniLLMs) have attracted increasing research attention of late towards unified audio-video understanding, wherein processing audio-video token sequences creates a significant computational bottleneck, however. Existing token compression methods have yet to accommodate this emerging need of jointly compressing multimodal tokens. To bridge this gap, we present OmniZip, a training-free, audio-guided audio-visual token-compression framework that optimizes multimodal token representation and accelerates inference. Specifically, OmniZip first identifies salient audio tokens, then computes an audio retention score for each time group to capture information density, thereby dynamically guiding video token pruning and preserving cues from audio anchors enhanced by cross-modal similarity. For each time window, OmniZip compresses the video tokens using an interleaved spatio-temporal scheme. Extensive empirical results demonstrate the merits of OmniZip - it achieves 3.42X inference speedup and 1.4X memory reduction over other top-performing counterparts, while maintaining performance with no training.