SpotSound: Улучшение больших аудио-языковых моделей с помощью точного временного позиционирования

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

April 14, 2026

Авторы: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Аннотация

Крупные аудио-языковые модели (ALM) недавно продемонстрировали впечатляющие способности в целостном понимании аудио, однако они остаются ненадежными для временной локализации, то есть задачи точного определения момента возникновения события в длинных аудиозаписях. Это ограничение обусловлено двумя факторами: обучающими данными, в которых преобладает клип-уровневая разметка без точных временных меток, и бенчмарками, которые не моделируют реальные сценарии, когда короткие события маскируются плотным фоновым звуком. В данной статье мы представляем SpotSound — аудио-языковую модель, разработанную для локализации аудиособытий. SpotSound включает новую учебную цель, специально созданную для подавления галлюцинаций временных меток для событий, отсутствующих на входе. Кроме того, мы представляем SpotSound-Bench — сложный бенчмарк для временной локализации, в котором целевые события занимают менее ~10% каждого клипа, создавая строгую оценку по принципу «иголки в стоге сена». Эксперименты показывают, что SpotSound достигает state-of-the-art результатов на бенчмарках временной локализации, сохраняя при этом высокую производительность на общих downstream-задачах аудио-языкового моделирования. Код, модели и бенчмарк доступны по адресу https://loiesun.github.io/spotsound/

English

Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/