SpotSound: Aprimorando Grandes Modelos de Áudio-Linguagem com Ancoragem Temporal de Alta Granularidade

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

April 14, 2026

Autores: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Resumo

Os Grandes Modelos de Áudio-Linguagem (ALMs) demonstraram recentemente capacidades notáveis na compreensão holística de áudio, mas ainda permanecem pouco confiáveis para a localização temporal, ou seja, a tarefa de identificar exatamente quando um evento ocorre dentro de um áudio de longa duração. Esta limitação decorre de dois fatores: dados de treinamento dominados por supervisão a nível de clipe, que carecem de carimbos de data/hora precisos, e benchmarks que não simulam cenários do mundo real, onde eventos curtos são obscurecidos por sons de fundo densos. Neste artigo, apresentamos o SpotSound, um modelo de linguagem de áudio projetado para localizar eventos sonoros. O SpotSound incorpora um novo objetivo de treinamento, especificamente concebido para suprimir carimbos de data/hora alucinados para eventos ausentes da entrada. Adicionalmente, apresentamos o SpotSound-Bench, um benchmark desafiador de localização temporal onde os eventos-alvo ocupam menos de ~10% de cada clipe, criando uma avaliação rigorosa do tipo "agulha no palheiro". Experimentos demonstram que o SpotSound alcança resultados state-of-the-art em benchmarks de localização temporal, mantendo simultaneamente um desempenho robusto em diversas tarefas gerais de áudio-linguagem. O código, os modelos e o benchmark são disponibilizados em https://loiesun.github.io/spotsound/.

English

Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/