Het Sonar-moment: Audio-taalmodellen benchmarken in audio-geolokalisatie
The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization
January 6, 2026
Auteurs: Ruixing Zhang, Zihan Liu, Leilei Sun, Tongyu Zhu, Weifeng Lv
cs.AI
Samenvatting
Geo-localisatie heeft als doel de geografische oorsprong van een bepaald signaal af te leiden. In de computer vision heeft geo-localisatie gediend als een veeleisende benchmark voor compositioneel redeneren en is relevant voor de openbare veiligheid. De vooruitgang op het gebied van audio-geo-localisatie wordt daarentegen beperkt door een gebrek aan hoogwaardige audio-locatieparen. Om deze kloof te dichten, introduceren we AGL1K, de eerste benchmark voor audio-geo-localisatie voor audio-taalmodellen (ALM's), die 72 landen en gebieden bestrijkt. Om betrouwbaar lokaliseerbare samples te extraheren uit een crowdsourcingplatform, stellen we de metriek 'Audio Localiseerbaarheid' voor, die de informatiewaarde van elke opname kwantificeert, wat resulteert in 1.444 gecureerde audioclips. Evaluaties van 16 ALM's tonen aan dat ALM's geo-localisatiecapaciteit hebben ontwikkeld. We constateren dat closed-source modellen open-source modellen aanzienlijk overtreffen, en dat linguïstische aanwijzingen vaak dominant zijn als steun voor voorspellingen. We analyseren verder de redeneersporen van ALM's, regionale bias, foorzaken, en de interpreteerbaarheid van de localiseerbaarheidsmetriek. Over het geheel genomen legt AGL1K een basis voor audio-geo-localisatie en kan het ALM's vooruithelpen met betere georuimtelijke redeneercapaciteit.
English
Geo-localization aims to infer the geographic origin of a given signal. In computer vision, geo-localization has served as a demanding benchmark for compositional reasoning and is relevant to public safety. In contrast, progress on audio geo-localization has been constrained by the lack of high-quality audio-location pairs. To address this gap, we introduce AGL1K, the first audio geo-localization benchmark for audio language models (ALMs), spanning 72 countries and territories. To extract reliably localizable samples from a crowd-sourced platform, we propose the Audio Localizability metric that quantifies the informativeness of each recording, yielding 1,444 curated audio clips. Evaluations on 16 ALMs show that ALMs have emerged with audio geo-localization capability. We find that closed-source models substantially outperform open-source models, and that linguistic clues often dominate as a scaffold for prediction. We further analyze ALMs' reasoning traces, regional bias, error causes, and the interpretability of the localizability metric. Overall, AGL1K establishes a benchmark for audio geo-localization and may advance ALMs with better geospatial reasoning capability.