GAEA: Um Modelo de Conversação com Consciência Geográfica

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

Autores: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

Resumo

A geolocalização de imagens, na qual, tradicionalmente, um modelo de IA prevê as coordenadas GPS precisas de uma imagem, é uma tarefa desafiadora com muitas aplicações subsequentes. No entanto, o usuário não pode utilizar o modelo para ampliar seu conhecimento além da coordenada GPS; o modelo carece de compreensão do local e da capacidade conversacional para se comunicar com o usuário. Recentemente, com o enorme progresso dos modelos multimodais de grande escala (LMMs), tanto proprietários quanto de código aberto, pesquisadores têm tentado geolocalizar imagens por meio de LMMs. No entanto, os problemas permanecem sem solução; além de tarefas gerais, para tarefas subsequentes mais especializadas, uma das quais é a geolocalização, os LMMs enfrentam dificuldades. Neste trabalho, propomos resolver esse problema introduzindo um modelo conversacional, GAEA, que pode fornecer informações sobre a localização de uma imagem, conforme solicitado pelo usuário. Não existe um conjunto de dados em grande escala que permita o treinamento de tal modelo. Assim, propomos um conjunto de dados abrangente, GAEA, com 800 mil imagens e cerca de 1,6 milhão de pares de perguntas e respostas, construído aproveitando atributos do OpenStreetMap (OSM) e pistas contextuais geográficas. Para avaliação quantitativa, propomos um benchmark diversificado composto por 4 mil pares de imagem-texto para avaliar capacidades conversacionais equipadas com diversos tipos de perguntas. Consideramos 11 LMMs de ponta, tanto de código aberto quanto proprietários, e demonstramos que o GAEA supera significativamente o melhor modelo de código aberto, LLaVA-OneVision, em 25,69%, e o melhor modelo proprietário, GPT-4o, em 8,28%. Nosso conjunto de dados, modelo e códigos estão disponíveis.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available