Seleção de Tokens Adaptativa por Estágios para LLMs Omnimodais Eficientes

Resumo

Modelos de linguagem de grande escala omni-modais (om-LLMs) alcançam compreensão audiovisual unificada ao codificar vídeo e áudio em sequências de tokens temporalmente alinhados, intercaladas ao nível da janela. No entanto, processar esses tokens densos não textuais ao longo do LLM acarreta custos computacionais substanciais. Embora a seleção de tokens sem treinamento possa reduzir esse custo, os métodos existentes ou focam apenas em entradas visuais ou podam tokens de om-LLMs apenas antes do LLM com proporções fixas por modalidade, não capturando como a importância dos tokens entre modalidades evolui entre as camadas. Para abordar essa limitação, analisamos primeiro a dependência token por camada dos om-LLMs. Descobrimos que as dependências visuais e auditivas seguem um padrão por blocos e se enfraquecem gradualmente com a profundidade, indicando que muitos tokens não textuais em camadas tardias se tornam redundantes após a fusão entre modalidades. Motivados por essa observação, propomos SEATS, um método de seleção de tokens sem treinamento e adaptativo por estágio para inferência eficiente de om-LLMs. Antes do LLM, SEATS remove redundância espaço-temporal via seleção de diversidade ponderada por atenção. Dentro do LLM, ele poda progressivamente tokens entre blocos e aloca dinamicamente o orçamento de retenção de janelas temporais para modalidades usando pontuações de relevância da consulta. Em camadas tardias, remove todos os tokens não textuais restantes assim que a fusão entre modalidades é concluída. Experimentos com Qwen2.5-Omni e Qwen3-Omni demonstram que SEATS melhora efetivamente a eficiência da inferência. Retendo apenas 10% dos tokens visuais e de áudio, alcança uma redução de 9,3x em FLOPs e uma aceleração de preenchimento de 4,8x, preservando 96,3% do desempenho original.

English

Omni-modal large language models (om-LLMs) achieve unified audio-visual understanding by encoding video and audio into temporally aligned token sequences interleaved at the window level. However, processing these dense non-textual tokens throughout the LLM incurs substantial computational overhead. Although training-free token selection can reduce this cost, existing methods either focus on visual-only inputs or prune om-LLM tokens only before the LLM with fixed per-modality ratios, failing to capture how cross-modal token importance evolves across layers. To address this limitation, we first analyze the layer-wise token dependency of om-LLMs. We find that visual and audio dependencies follow a block-wise pattern and gradually weaken with depth, indicating that many late-layer non-textual tokens become redundant after cross-modal fusion. Motivated by this observation, we propose SEATS, a training-free, stage-adaptive token selection method for efficient om-LLM inference. Before the LLM, SEATS removes spatiotemporal redundancy via attention-weighted diversity selection. Inside the LLM, it progressively prunes tokens across blocks and dynamically allocates the retention budget from temporal windows to modalities using query relevance scores. In late layers, it removes all remaining non-textual tokens once cross-modal fusion is complete. Experiments on Qwen2.5-Omni and Qwen3-Omni demonstrate that SEATS effectively improves inference efficiency. Retaining only 10% of visual and audio tokens, it achieves a 9.3x FLOPs reduction and a 4.8x prefill speedup while preserving 96.3% of the original performance.