El Momento Sonar: Evaluación de Modelos de Audio-Lenguaje en la Geo-Localización de Audio
The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization
January 6, 2026
Autores: Ruixing Zhang, Zihan Liu, Leilei Sun, Tongyu Zhu, Weifeng Lv
cs.AI
Resumen
La geo-localización tiene como objetivo inferir el origen geográfico de una señal dada. En visión por computadora, la geo-localización ha servido como un exigente punto de referencia para el razonamiento composicional y es relevante para la seguridad pública. Por el contrario, el progreso en la geo-localización de audio se ha visto limitado por la falta de pares audio-ubicación de alta calidad. Para abordar esta brecha, presentamos AGL1K, el primer benchmark de geo-localización de audio para modelos de lenguaje de audio (ALMs), que abarca 72 países y territorios. Para extraer muestras confiablemente localizables de una plataforma de origen comunitario, proponemos la métrica de Localizabilidad de Audio que cuantifica el contenido informativo de cada grabación, dando como resultado 1.444 clips de audio curados. Las evaluaciones en 16 ALMs muestran que estos modelos han desarrollado capacidad de geo-localización de audio. Encontramos que los modelos de código cerrado superan sustancialmente a los modelos de código abierto, y que las pistas lingüísticas a menudo dominan como andamiaje para la predicción. Analizamos además las trazas de razonamiento de los ALMs, el sesgo regional, las causas de error y la interpretabilidad de la métrica de localizabilidad. En general, AGL1K establece un benchmark para la geo-localización de audio y puede impulsar el desarrollo de ALMs con mejor capacidad de razonamiento geoespacial.
English
Geo-localization aims to infer the geographic origin of a given signal. In computer vision, geo-localization has served as a demanding benchmark for compositional reasoning and is relevant to public safety. In contrast, progress on audio geo-localization has been constrained by the lack of high-quality audio-location pairs. To address this gap, we introduce AGL1K, the first audio geo-localization benchmark for audio language models (ALMs), spanning 72 countries and territories. To extract reliably localizable samples from a crowd-sourced platform, we propose the Audio Localizability metric that quantifies the informativeness of each recording, yielding 1,444 curated audio clips. Evaluations on 16 ALMs show that ALMs have emerged with audio geo-localization capability. We find that closed-source models substantially outperform open-source models, and that linguistic clues often dominate as a scaffold for prediction. We further analyze ALMs' reasoning traces, regional bias, error causes, and the interpretability of the localizability metric. Overall, AGL1K establishes a benchmark for audio geo-localization and may advance ALMs with better geospatial reasoning capability.