SpotSound: Verbetering van Grote Audio-Taalmodellen met Fijntijdelige Temporele Verankering
SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding
April 14, 2026
Auteurs: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie
cs.AI
Samenvatting
Grote audio-taalmodelen (ALM's) hebben recentelijk opmerkelijke capaciteiten getoond in holistisch audiobegrip, maar ze blijven onbetrouwbaar voor temporele lokalisatie, d.w.z. de taak om exact aan te wijzen wanneer een gebeurtenis plaatsvindt binnen lange audiofragmenten. Deze beperking komt voort uit twee factoren: trainingsdata die gedomineerd wordt door clipniveau-supervisie zonder precieze tijdstempels, en benchmarks die er niet in slagen realistische scenario's te simuleren waarin korte gebeurtenissen verhuld worden door dichte achtergrondgeluiden. In dit artikel introduceren we SpotSound, een audio-taalmodel ontworpen voor het lokaliseren van audiogebeurtenissen. SpotSound bevat een nieuwe trainingsdoelstelling, specifiek ontworpen om gehallucineerde tijdstempels voor afwezige gebeurtenissen in de input te onderdrukken. Daarnaast presenteren we SpotSound-Bench, een uitdagende temporele lokalisatiebenchmark waarin doelgebeurtenissen minder dan ~10% van elke clip beslaan, wat zorgt voor een rigoureuze 'speld-in-een-hooiberg'-evaluatie. Experimenten tonen aan dat SpotSound state-of-the-art resultaten behaalt op temporele lokalisatiebenchmarks, terwijl het robuuste prestaties handhaaft over algemene downstream audio-taal taken. Code, modellen en benchmark zijn vrijgegeven op https://loiesun.github.io/spotsound/
English
Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/