Стадийно-адаптивный выбор токенов для эффективных всережимных LLM

Аннотация

Омни-модальные большие языковые модели (om-LLMs) достигают унифицированного аудиовизуального понимания путем кодирования видео и аудио во временно выровненные последовательности токенов, чередующиеся на уровне окон. Однако обработка этих плотных нетекстовых токенов на протяжении всей LLM влечет за собой значительные вычислительные накладные расходы. Хотя выбор токенов без обучения может снизить эти затраты, существующие методы либо ориентированы только на визуальные входные данные, либо сокращают токены om-LLM только перед LLM с фиксированными соотношениями по модальностям, не улавливая, как важность кросс-модальных токенов изменяется по слоям. Чтобы устранить это ограничение, мы впервые анализируем послойную зависимость токенов om-LLM. Мы обнаружили, что визуальные и аудио-зависимости следуют блочной структуре и постепенно ослабевают с глубиной, что указывает на то, что многие нетекстовые токены на поздних слоях становятся избыточными после кросс-модального слияния. Руководствуясь этим наблюдением, мы предлагаем SEATS — метод стадийно-адаптивного выбора токенов без обучения для эффективного вывода om-LLM. Перед LLM SEATS устраняет пространственно-временную избыточность посредством взвешенного по вниманию отбора с учетом разнообразия. Внутри LLM он постепенно сокращает токены между блоками и динамически распределяет бюджет удержания от временных окон к модальностям, используя оценки релевантности запросов. На поздних слоях он удаляет все оставшиеся нетекстовые токены после завершения кросс-модального слияния. Эксперименты на Qwen2.5-Omni и Qwen3-Omni показывают, что SEATS эффективно повышает эффективность вывода. При сохранении только 10% визуальных и аудио-токенов он достигает сокращения FLOPs в 9,3 раза и ускорения префилла в 4,8 раза, сохраняя 96,3% исходной производительности.

English

Omni-modal large language models (om-LLMs) achieve unified audio-visual understanding by encoding video and audio into temporally aligned token sequences interleaved at the window level. However, processing these dense non-textual tokens throughout the LLM incurs substantial computational overhead. Although training-free token selection can reduce this cost, existing methods either focus on visual-only inputs or prune om-LLM tokens only before the LLM with fixed per-modality ratios, failing to capture how cross-modal token importance evolves across layers. To address this limitation, we first analyze the layer-wise token dependency of om-LLMs. We find that visual and audio dependencies follow a block-wise pattern and gradually weaken with depth, indicating that many late-layer non-textual tokens become redundant after cross-modal fusion. Motivated by this observation, we propose SEATS, a training-free, stage-adaptive token selection method for efficient om-LLM inference. Before the LLM, SEATS removes spatiotemporal redundancy via attention-weighted diversity selection. Inside the LLM, it progressively prunes tokens across blocks and dynamically allocates the retention budget from temporal windows to modalities using query relevance scores. In late layers, it removes all remaining non-textual tokens once cross-modal fusion is complete. Experiments on Qwen2.5-Omni and Qwen3-Omni demonstrate that SEATS effectively improves inference efficiency. Retaining only 10% of visual and audio tokens, it achieves a 9.3x FLOPs reduction and a 4.8x prefill speedup while preserving 96.3% of the original performance.