Der Sonar-Moment: Benchmarking von Audio-Sprach-Modellen in der auditiven Geolokalisierung
The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization
January 6, 2026
papers.authors: Ruixing Zhang, Zihan Liu, Leilei Sun, Tongyu Zhu, Weifeng Lv
cs.AI
papers.abstract
Die Georeferenzierung zielt darauf ab, den geografischen Ursprung eines gegebenen Signals abzuleiten. In der Computer Vision diente die Georeferenzierung als anspruchsvoller Benchmark für kompositionelles Reasoning und ist für die öffentliche Sicherheit relevant. Im Gegensatz dazu wurde der Fortschritt in der auditiven Georeferenzierung durch den Mangel an hochwertigen Audio-Ort-Paaren eingeschränkt. Um diese Lücke zu schließen, stellen wir AGL1K vor, den ersten Benchmark für auditive Georeferenzierung für Audio-Sprachmodelle (ALMs), der 72 Länder und Territorien umfasst. Um zuverlässig lokalisierbare Aufnahmen von einer Crowdsourcing-Plattform zu extrahieren, schlagen wir die Metrik „Auditive Lokalisierbarkeit“ vor, die den Informationsgehalt jeder Aufnahme quantifiziert und so 1.444 kuratierte Audioclips liefert. Evaluationen an 16 ALMs zeigen, dass ALMs eine Fähigkeit zur auditiven Georeferenzierung entwickelt haben. Wir stellen fest, dass Closed-Source-Modelle Open-Source-Modelle erheblich übertreffen und dass linguistische Hinweise oft als Gerüst für die Vorhersage dominieren. Wir analysieren weiterhin die Reasoning-Pfade der ALMs, regionale Verzerrungen, Fehlerursachen und die Interpretierbarkeit der Lokalisierbarkeitsmetrik. Insgesamt etabliert AGL1K einen Benchmark für auditive Georeferenzierung und könnte ALMs mit verbesserten georäumlichen Reasoning-Fähigkeiten voranbringen.
English
Geo-localization aims to infer the geographic origin of a given signal. In computer vision, geo-localization has served as a demanding benchmark for compositional reasoning and is relevant to public safety. In contrast, progress on audio geo-localization has been constrained by the lack of high-quality audio-location pairs. To address this gap, we introduce AGL1K, the first audio geo-localization benchmark for audio language models (ALMs), spanning 72 countries and territories. To extract reliably localizable samples from a crowd-sourced platform, we propose the Audio Localizability metric that quantifies the informativeness of each recording, yielding 1,444 curated audio clips. Evaluations on 16 ALMs show that ALMs have emerged with audio geo-localization capability. We find that closed-source models substantially outperform open-source models, and that linguistic clues often dominate as a scaffold for prediction. We further analyze ALMs' reasoning traces, regional bias, error causes, and the interpretability of the localizability metric. Overall, AGL1K establishes a benchmark for audio geo-localization and may advance ALMs with better geospatial reasoning capability.