GAEA: 지리적 위치 인식 대화형 모델

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

저자: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

초록

이미지 지리적 위치 파악(Image Geolocalization)은 전통적으로 AI 모델이 이미지의 정확한 GPS 좌표를 예측하는 도전적인 작업으로, 다양한 다운스트림 애플리케이션에서 활용됩니다. 그러나 사용자는 GPS 좌표 외에 모델을 통해 추가적인 지식을 얻을 수 없으며, 모델은 위치에 대한 이해와 사용자와 대화할 수 있는 능력이 부족합니다. 최근에는 대규모 멀티모달 모델(LMMs)의 엄청난 발전과 함께, 독점 및 오픈소스 연구자들이 LMMs를 통해 이미지를 지리적으로 위치 파악하려는 시도를 해왔습니다. 그러나 이러한 문제는 여전히 해결되지 않았으며, 일반적인 작업을 넘어 지리적 위치 파악과 같은 더 전문화된 다운스트림 작업에서 LMMs는 어려움을 겪습니다. 본 연구에서는 사용자의 요구에 따라 이미지의 위치에 대한 정보를 제공할 수 있는 대화형 모델 GAEA를 제안하여 이 문제를 해결하고자 합니다. 이러한 모델을 훈련시킬 수 있는 대규모 데이터셋은 존재하지 않습니다. 따라서 우리는 OpenStreetMap(OSM) 속성과 지리적 맥락 단서를 활용하여 800K 이미지와 약 1.6M 질문-답변 쌍으로 구성된 포괄적인 데이터셋 GAEA를 제안합니다. 정량적 평가를 위해, 다양한 질문 유형을 갖춘 대화 능력을 평가할 수 있는 4K 이미지-텍스트 쌍으로 구성된 다양한 벤치마크를 제안합니다. 우리는 11개의 최신 오픈소스 및 독점 LMMs를 고려하고, GAEA가 최고의 오픈소스 모델인 LLaVA-OneVision보다 25.69%, 최고의 독점 모델인 GPT-4o보다 8.28% 우수한 성능을 보임을 입증합니다. 우리의 데이터셋, 모델 및 코드는 공개되어 있습니다.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available