SpotSound: Miglioramento dei modelli audio-linguistici di grandi dimensioni mediante l'ancoraggio temporale fine
SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding
April 14, 2026
Autori: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie
cs.AI
Abstract
I modelli audio-linguistici (ALM) di grandi dimensioni hanno recentemente dimostrato capacità notevoli nella comprensione audio olistica, ma rimangono inaffidabili per il grounding temporale, ovvero il compito di identificare esattamente quando un evento si verifica all'interno di un audio di lunga durata. Questa limitazione deriva da due fattori: dati di addestramento dominati da supervisione a livello di clip che manca di timestamp precisi, e benchmark che non riescono a simulare scenari reali in cui eventi brevi sono oscurati da suoni di fondo densi. In questo articolo, introduciamo SpotSound, un modello linguistico audio progettato per il grounding di eventi sonori. SpotSound incorpora un nuovo obiettivo di addestramento, specificamente concepito per sopprimere timestamp allucinati per eventi assenti dall'input. Inoltre, presentiamo SpotSound-Bench, un benchmark impegnativo per il grounding temporale in cui gli eventi target occupano meno del ~10% di ogni clip, creando una valutazione rigorosa di tipo "cercare un ago in un pagliaio". Gli esperimenti dimostrano che SpotSound raggiunge risultati allo stato dell'arte sui benchmark di grounding temporale, mantenendo al contempo prestazioni robuste in un'ampia gamma di attività audio-linguistiche downstream generali. Codice, modelli e benchmark sono rilasciati su https://loiesun.github.io/spotsound/
English
Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/