GAEA: Een Geografisch Bewust Conversatiemodel

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

Auteurs: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

Samenvatting

Beeldgeolokalisatie, waarbij traditioneel een AI-model de precieze GPS-coördinaten van een afbeelding voorspelt, is een uitdagende taak met veel downstreamtoepassingen. De gebruiker kan het model echter niet benutten om zijn kennis verder uit te breiden dan de GPS-coördinaat; het model mist een begrip van de locatie en het conversatievermogen om met de gebruiker te communiceren. De laatste tijd, met de enorme vooruitgang van grote multimodale modellen (LMMs), hebben zowel propriëtaire als open-source onderzoekers geprobeerd afbeeldingen te geolokaliseren via LMMs. De problemen blijven echter onopgelost; naast algemene taken, worstelen LMMs met meer gespecialiseerde downstreamtaken, waarvan geolokalisatie er één is. In dit werk stellen we voor om dit probleem op te lossen door een conversatiemodel, GAEA, te introduceren dat informatie kan verstrekken over de locatie van een afbeelding, zoals door de gebruiker gevraagd. Er bestaat geen grootschalige dataset die het trainen van zo'n model mogelijk maakt. Daarom stellen we een uitgebreide dataset, GAEA, voor met 800K afbeeldingen en ongeveer 1.6M vraag-antwoordparen, geconstrueerd door gebruik te maken van OpenStreetMap (OSM) attributen en geografische contextuele aanwijzingen. Voor kwantitatieve evaluatie stellen we een divers benchmark voor, bestaande uit 4K afbeelding-tekstparen, om conversatievaardigheden te evalueren die zijn uitgerust met diverse vraagtypen. We beschouwen 11 state-of-the-art open-source en propriëtaire LMMs en tonen aan dat GAEA het beste open-source model, LLaVA-OneVision, significant overtreft met 25.69% en het beste propriëtaire model, GPT-4o, met 8.28%. Onze dataset, model en codes zijn beschikbaar.

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available