SpotSound : Amélioration des grands modèles audio-langage par un ancrage temporel fin

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

April 14, 2026

Auteurs: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

Résumé

Les grands modèles audio-linguistiques (ALM) ont récemment démontré des capacités remarquables en compréhension audio holistique, mais ils restent peu fiables pour l'ancrage temporel, c'est-à-dire la tâche qui consiste à identifier précisément quand un événement se produit dans un audio de longue durée. Cette limitation provient de deux facteurs : des données d'entraînement dominées par une supervision au niveau du clip dépourvue de timestamps précis, et des benchmarks qui ne parviennent pas à simuler des scénarios réalistes où des événements brefs sont masqués par des sons d'arrière-plan denses. Dans cet article, nous présentons SpotSound, un modèle audio-linguistique conçu pour l'ancrage temporel d'événements audio. SpotSound intègre un nouvel objectif d'entraînement, spécifiquement conçu pour supprimer les timestamps hallucinés pour les événements absents de l'entrée. De plus, nous présentons SpotSound-Bench, un benchmark exigeant d'ancrage temporel où les événements cibles occupent moins de ~10 % de chaque clip, créant une évaluation rigoureuse de type « aiguille dans une botte de foin ». Les expériences démontrent que SpotSound obtient des résultats state-of-the-art sur les benchmarks d'ancrage temporel tout en maintenant des performances robustes sur diverses tâches audio-linguistiques en aval. Le code, les modèles et le benchmark sont disponibles sur https://loiesun.github.io/spotsound/

English

Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/