SpotSound: 細粒度時間的グラウンディングによる大規模音声言語モデルの機能強化

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding

April 14, 2026

著者: Luoyi Sun, Xiao Zhou, Zeqian Li, Ya Zhang, Yanfeng Wang, Weidi Xie

cs.AI

要旨

大規模音声言語モデル（ALM）は近年、包括的な音声理解において顕著な能力を示しているが、長時間音声内でイベントが発生する正確な時刻を特定する時間的定位（temporal grounding）タスクについては信頼性が低いままである。この限界は二つの要因に起因する：正確なタイムスタンプを欠いたクリップ単位の教師データが支配的な訓練データ、および短いイベントが密集した背景音に隠される現実世界のシナリオを模倣できていないベンチマークである。本論文では、音声イベントの定位に特化した音声言語モデルSpotSoundを提案する。SpotSoundは、入力に存在しないイベントに対する虚偽のタイムスタンプ生成を抑制するように特別に設計された新しい訓練目的を組み込んでいる。さらに、ターゲットイベントが各クリップの～10％未満を占める厳密な「干し草の山の中の針」評価を実現する、挑戦的な時間的定位ベンチマークSpotSound-Benchを提示する。実験により、SpotSoundが時間的定位ベンチマークで最先端の結果を達成すると同時に、一般的な下流音声言語タスク全体で堅牢な性能を維持することが実証された。コード、モデル、ベンチマークはhttps://loiesun.github.io/spotsound/で公開されている。

English

Large Audio-Language Models (ALMs) have recently demonstrated remarkable capabilities in holistic audio understanding, yet they remain unreliable for temporal grounding, i.e., the task of pinpointing exactly when an event occurs within long-form audio. This limitation stems from two factors: training data dominated by clip-level supervision lacking precise timestamps, and benchmarks that fail to simulate real-world scenarios where short events are obscured by dense background sounds. In this paper, we introduce SpotSound, an audio language model designed for grounding audio events. SpotSound incorporates a novel training objective, specifically designed to suppress hallucinated timestamps for events absent from the input. Additionally, we present SpotSound-Bench, a challenging temporal grounding benchmark where target events occupy less than ~10\% of each clip, creating a rigorous `needle-in-a-haystack' evaluation. Experiments demonstrate that SpotSound achieves state-of-the-art results on temporal grounding benchmarks while maintaining robust performance across general downstream audio-language tasks. Code, models and benchmark are released on https://loiesun.github.io/spotsound/