GAEA: Un Modelo Conversacional con Conciencia Geográfica

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

Autores: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

Resumen

La geolocalización de imágenes, en la que tradicionalmente un modelo de IA predice las coordenadas GPS precisas de una imagen, es una tarea desafiante con muchas aplicaciones posteriores. Sin embargo, el usuario no puede utilizar el modelo para ampliar su conocimiento más allá de la coordenada GPS; el modelo carece de una comprensión del lugar y de la capacidad conversacional para comunicarse con el usuario. En los últimos días, con el tremendo progreso de los modelos multimodales grandes (LMMs), tanto propietarios como de código abierto, los investigadores han intentado geolocalizar imágenes mediante LMMs. Sin embargo, los problemas siguen sin resolverse; más allá de tareas generales, para tareas posteriores más especializadas, una de las cuales es la geolocalización, los LMMs tienen dificultades. En este trabajo, proponemos resolver este problema introduciendo un modelo conversacional, GAEA, que puede proporcionar información sobre la ubicación de una imagen, según lo requiera el usuario. No existe un conjunto de datos a gran escala que permita el entrenamiento de dicho modelo. Por lo tanto, proponemos un conjunto de datos integral, GAEA, con 800K imágenes y alrededor de 1.6M pares de preguntas y respuestas construidos aprovechando los atributos de OpenStreetMap (OSM) y las pistas de contexto geográfico. Para la evaluación cuantitativa, proponemos un punto de referencia diverso que comprende 4K pares de imagen-texto para evaluar las capacidades conversacionales equipadas con diversos tipos de preguntas. Consideramos 11 LMMs de código abierto y propietarios de última generación y demostramos que GAEA supera significativamente al mejor modelo de código abierto, LLaVA-OneVision, en un 25.69% y al mejor modelo propietario, GPT-4o, en un 8.28%. Nuestro conjunto de datos, modelo y códigos están disponibles.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available