Stufenadaptive Token-Auswahl für effiziente omnimodale LLMs

Zusammenfassung

Omnimodale große Sprachmodelle (om-LLMs) erreichen ein einheitliches audiovisuelles Verständnis, indem sie Video und Audio in zeitlich ausgerichtete Token-Sequenzen kodieren, die auf Fensterebene verschachtelt sind. Die Verarbeitung dieser dichten nicht-textuellen Token im gesamten LLM verursacht jedoch erheblichen Rechenaufwand. Obwohl trainingsfreie Token-Auswahl diese Kosten senken kann, konzentrieren sich bestehende Methoden entweder auf rein visuelle Eingaben oder entfernen om-LLM-Token nur vor dem LLM mit festen modalitätsspezifischen Quoten, ohne zu erfassen, wie sich die kreuzmodale Token-Wichtigkeit über die Schichten hinweg entwickelt. Um diese Einschränkung zu adressieren, analysieren wir zunächst die schichtweise Token-Abhängigkeit von om-LLMs. Wir stellen fest, dass visuelle und audio-basierte Abhängigkeiten einem blockweisen Muster folgen und mit zunehmender Tiefe allmählich schwächer werden, was darauf hindeutet, dass viele nicht-textuelle Token in späten Schichten nach der kreuzmodalen Fusion redundant werden. Motiviert durch diese Beobachtung schlagen wir SEATS vor, eine trainingsfreie, stufenadaptive Token-Auswahlmethode für effiziente om-LLM-Inferenz. Vor dem LLM entfernt SEATS raumzeitliche Redundanz durch attention-gewichtete Diversitätsauswahl. Innerhalb des LLM entfernt es Token progressiv über Blöcke hinweg und weist das Behaltensbudget von Zeitfenstern auf Modalitäten dynamisch unter Verwendung von Query-Relevanzwerten zu. In späten Schichten entfernt es alle verbleibenden nicht-textuellen Token, sobald die kreuzmodale Fusion abgeschlossen ist. Experimente mit Qwen2.5-Omni und Qwen3-Omni zeigen, dass SEATS die Inferenzeffizienz effektiv verbessert. Bei Beibehaltung von nur 10 % der visuellen und Audio-Token erreicht es eine 9,3-fache FLOPs-Reduktion und eine 4,8-fache Prefill-Beschleunigung, während 96,3 % der ursprünglichen Leistung erhalten bleiben.

English

Omni-modal large language models (om-LLMs) achieve unified audio-visual understanding by encoding video and audio into temporally aligned token sequences interleaved at the window level. However, processing these dense non-textual tokens throughout the LLM incurs substantial computational overhead. Although training-free token selection can reduce this cost, existing methods either focus on visual-only inputs or prune om-LLM tokens only before the LLM with fixed per-modality ratios, failing to capture how cross-modal token importance evolves across layers. To address this limitation, we first analyze the layer-wise token dependency of om-LLMs. We find that visual and audio dependencies follow a block-wise pattern and gradually weaken with depth, indicating that many late-layer non-textual tokens become redundant after cross-modal fusion. Motivated by this observation, we propose SEATS, a training-free, stage-adaptive token selection method for efficient om-LLM inference. Before the LLM, SEATS removes spatiotemporal redundancy via attention-weighted diversity selection. Inside the LLM, it progressively prunes tokens across blocks and dynamically allocates the retention budget from temporal windows to modalities using query relevance scores. In late layers, it removes all remaining non-textual tokens once cross-modal fusion is complete. Experiments on Qwen2.5-Omni and Qwen3-Omni demonstrate that SEATS effectively improves inference efficiency. Retaining only 10% of visual and audio tokens, it achieves a 9.3x FLOPs reduction and a 4.8x prefill speedup while preserving 96.3% of the original performance.