GAEA: Un Modello Conversazionale Consapevole della Geolocalizzazione

Abstract

La geolocalizzazione di immagini, in cui tradizionalmente un modello di IA prevede le coordinate GPS precise di un'immagine, è un compito impegnativo con molte applicazioni a valle. Tuttavia, l'utente non può utilizzare il modello per approfondire la propria conoscenza oltre alla coordinata GPS; il modello manca di una comprensione della località e della capacità conversazionale per comunicare con l'utente. Recentemente, con i notevoli progressi dei modelli multimodali di grandi dimensioni (LMMs), sia proprietari che open-source, i ricercatori hanno tentato di geolocalizzare immagini tramite LMMs. Tuttavia, i problemi rimangono irrisolti; oltre ai compiti generali, per attività più specializzate a valle, una delle quali è la geolocalizzazione, gli LMMs faticano. In questo lavoro, proponiamo di risolvere questo problema introducendo un modello conversazionale, GAEA, che può fornire informazioni riguardanti la località di un'immagine, come richiesto da un utente. Non esiste un dataset su larga scala che permetta l'addestramento di un tale modello. Pertanto, proponiamo un dataset completo, GAEA, con 800K immagini e circa 1.6M coppie domanda-risposta costruite sfruttando gli attributi di OpenStreetMap (OSM) e indizi contestuali geografici. Per la valutazione quantitativa, proponiamo un benchmark diversificato composto da 4K coppie immagine-testo per valutare le capacità conversazionali dotate di diversi tipi di domande. Consideriamo 11 LMMs open-source e proprietari all'avanguardia e dimostriamo che GAEA supera significativamente il miglior modello open-source, LLaVA-OneVision, del 25.69% e il miglior modello proprietario, GPT-4o, dell'8.28%. Il nostro dataset, modello e codici sono disponibili.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available

GAEA: Un Modello Conversazionale Consapevole della Geolocalizzazione

GAEA: A Geolocation Aware Conversational Model

Abstract

Support