GAEA: Геолокационно-ориентированная диалоговая модель

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

Авторы: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

Аннотация

Геолокализация изображений, в которой традиционно модель ИИ предсказывает точные GPS-координаты изображения, является сложной задачей с множеством прикладных применений. Однако пользователь не может использовать модель для получения дополнительной информации, кроме GPS-координат; модель не обладает пониманием местоположения и способностью вести диалог с пользователем. В последнее время, благодаря значительному прогрессу в области крупных мультимодальных моделей (LMMs), как проприетарных, так и открытых, исследователи предприняли попытки геолокализации изображений с использованием LMMs. Однако проблемы остаются нерешенными; за пределами общих задач, для более специализированных прикладных задач, одной из которых является геолокализация, LMMs испытывают трудности. В данной работе мы предлагаем решить эту проблему, представив диалоговую модель GAEA, которая может предоставлять информацию о местоположении изображения в соответствии с запросами пользователя. Крупномасштабного набора данных, позволяющего обучать такую модель, не существует. Поэтому мы предлагаем всеобъемлющий набор данных GAEA, содержащий 800 тыс. изображений и около 1,6 млн пар вопросов и ответов, созданных с использованием атрибутов OpenStreetMap (OSM) и географических контекстных подсказок. Для количественной оценки мы предлагаем разнообразный бенчмарк, включающий 4 тыс. пар изображение-текст, чтобы оценить диалоговые возможности модели с учетом различных типов вопросов. Мы рассматриваем 11 современных открытых и проприетарных LMMs и демонстрируем, что GAEA значительно превосходит лучшую открытую модель LLaVA-OneVision на 25,69% и лучшую проприетарную модель GPT-4o на 8,28%. Наш набор данных, модель и код доступны.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available