Sélection de tokens adaptative par étapes pour des LLMs omni-modaux efficaces

Résumé

Les grands modèles de langage omnimodaux (om-LLMs) parviennent à une compréhension audiovisuelle unifiée en encodant la vidéo et l'audio en séquences de tokens temporellement alignées, entrelacées au niveau de la fenêtre. Cependant, le traitement de ces tokens non textuels denses tout au long du LLM entraîne une surcharge computationnelle substantielle. Bien qu'une sélection de tokens sans entraînement puisse réduire ce coût, les méthodes existantes se concentrent soit sur des entrées uniquement visuelles, soit élaguent les tokens des om-LLMs uniquement avant le LLM avec des ratios fixes par modalité, sans parvenir à capturer l'évolution de l'importance des tokens inter-modaux à travers les couches. Pour pallier cette limitation, nous analysons d'abord la dépendance des tokens par couche dans les om-LLMs. Nous constatons que les dépendances visuelles et audio suivent un motif par blocs et s'affaiblissent progressivement avec la profondeur, ce qui indique que de nombreux tokens non textuels des couches tardives deviennent redondants après la fusion inter-modale. Motivés par cette observation, nous proposons SEATS, une méthode de sélection de tokens sans entraînement et adaptative par étapes pour une inférence efficace des om-LLMs. Avant le LLM, SEATS supprime la redondance spatio-temporelle via une sélection de diversité pondérée par l'attention. À l'intérieur du LLM, elle élimine progressivement les tokens à travers les blocs et alloue dynamiquement le budget de rétention des fenêtres temporelles aux modalités à l'aide de scores de pertinence des requêtes. Dans les couches tardives, elle supprime tous les tokens non textuels restants une fois la fusion inter-modale terminée. Les expériences menées sur Qwen2.5-Omni et Qwen3-Omni montrent que SEATS améliore efficacement l'efficacité d'inférence. En ne conservant que 10% des tokens visuels et audio, elle obtient une réduction de 9,3 fois des FLOPs et une accélération de 4,8 fois du pré-remplissage, tout en préservant 96,3% des performances originales.

English

Omni-modal large language models (om-LLMs) achieve unified audio-visual understanding by encoding video and audio into temporally aligned token sequences interleaved at the window level. However, processing these dense non-textual tokens throughout the LLM incurs substantial computational overhead. Although training-free token selection can reduce this cost, existing methods either focus on visual-only inputs or prune om-LLM tokens only before the LLM with fixed per-modality ratios, failing to capture how cross-modal token importance evolves across layers. To address this limitation, we first analyze the layer-wise token dependency of om-LLMs. We find that visual and audio dependencies follow a block-wise pattern and gradually weaken with depth, indicating that many late-layer non-textual tokens become redundant after cross-modal fusion. Motivated by this observation, we propose SEATS, a training-free, stage-adaptive token selection method for efficient om-LLM inference. Before the LLM, SEATS removes spatiotemporal redundancy via attention-weighted diversity selection. Inside the LLM, it progressively prunes tokens across blocks and dynamically allocates the retention budget from temporal windows to modalities using query relevance scores. In late layers, it removes all remaining non-textual tokens once cross-modal fusion is complete. Experiments on Qwen2.5-Omni and Qwen3-Omni demonstrate that SEATS effectively improves inference efficiency. Retaining only 10% of visual and audio tokens, it achieves a 9.3x FLOPs reduction and a 4.8x prefill speedup while preserving 96.3% of the original performance.