Момент сонара: сравнительный анализ аудио-языковых моделей в задаче аудио-геолокации
The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization
January 6, 2026
Авторы: Ruixing Zhang, Zihan Liu, Leilei Sun, Tongyu Zhu, Weifeng Lv
cs.AI
Аннотация
Геолокализация ставит своей целью определение географического происхождения заданного сигнала. В компьютерном зрении геолокация служила требовательным бенчмарком для композиционных рассуждений и имеет значение для общественной безопасности. В отличие от этого, прогресс в области аудиогеолокации сдерживался отсутствием высококачественных пар "аудио-местоположение". Чтобы восполнить этот пробел, мы представляем AGL1K — первый бенчмарк для аудиогеолокации, предназначенный для аудиоязыковых моделей (ALM), охватывающий 72 страны и территории. Для отбора надежно локализуемых образцов с краудсорсинговой платформы мы предлагаем метрику Audio Localizability, которая количественно оценивает информативность каждой записи, в результате чего получено 1444 отобранных аудиоклипа. Оценки 16 ALM показывают, что у ALM появилась способность к аудиогеолокации. Мы обнаружили, что модели с закрытым исходным кодом существенно превосходят модели с открытым исходным кодом, а лингвистические подсказки часто доминируют в качестве основы для прогнозирования. Мы также анализируем цепочки рассуждений ALM, региональную предвзятость, причины ошибок и интерпретируемость метрики локализуемости. В целом, AGL1K устанавливает бенчмарк для аудиогеолокации и может способствовать развитию ALM с улучшенными геопространственными способностями к рассуждению.
English
Geo-localization aims to infer the geographic origin of a given signal. In computer vision, geo-localization has served as a demanding benchmark for compositional reasoning and is relevant to public safety. In contrast, progress on audio geo-localization has been constrained by the lack of high-quality audio-location pairs. To address this gap, we introduce AGL1K, the first audio geo-localization benchmark for audio language models (ALMs), spanning 72 countries and territories. To extract reliably localizable samples from a crowd-sourced platform, we propose the Audio Localizability metric that quantifies the informativeness of each recording, yielding 1,444 curated audio clips. Evaluations on 16 ALMs show that ALMs have emerged with audio geo-localization capability. We find that closed-source models substantially outperform open-source models, and that linguistic clues often dominate as a scaffold for prediction. We further analyze ALMs' reasoning traces, regional bias, error causes, and the interpretability of the localizability metric. Overall, AGL1K establishes a benchmark for audio geo-localization and may advance ALMs with better geospatial reasoning capability.