SpotSound: Mejorando los Modelos de Audio y Lenguaje a Gran Escala mediante la Localización Temporal de Grano Fino

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

April 14, 2026

Autores: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Resumen

Los Grandes Modelos de Audio-Lenguaje (ALM) han demostrado recientemente capacidades notables en la comprensión holística del audio, pero siguen siendo poco fiables para la localización temporal, es decir, la tarea de identificar exactamente cuándo ocurre un evento dentro de un audio de larga duración. Esta limitación proviene de dos factores: datos de entrenamiento dominados por supervisión a nivel de clip que carecen de marcas de tiempo precisas, y puntos de referencia que no logran simular escenarios del mundo real donde eventos cortos quedan oscurecidos por sonidos de fondo densos. En este artículo, presentamos SpotSound, un modelo de lenguaje de audio diseñado para localizar eventos sonoros. SpotSound incorpora un nuevo objetivo de entrenamiento, específicamente diseñado para suprimir las marcas de tiempo alucinadas para eventos ausentes en la entrada. Adicionalmente, presentamos SpotSound-Bench, un punto de referencia desafiante para la localización temporal donde los eventos objetivo ocupan menos del ~10% de cada clip, creando una evaluación rigurosa de ‘aguja en un pajar’. Los experimentos demuestran que SpotSound logra resultados de vanguardia en puntos de referencia de localización temporal, manteniendo al mismo tiempo un rendimiento robusto en diversas tareas descendentes generales de audio-lenguaje. El código, los modelos y el punto de referencia se han publicado en https://loiesun.github.io/spotsound/.

English

Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/