GAEA: ジオロケーションを考慮した対話モデル

GAEA: A Geolocation Aware Conversational Model

March 20, 2025

著者: Ron Campos, Ashmal Vayani, Parth Parag Kulkarni, Rohit Gupta, Aritra Dutta, Mubarak Shah

cs.AI

要旨

画像のジオローカライゼーションは、従来、AIモデルが画像の正確なGPS座標を予測するという課題であり、多くの下流アプリケーションが存在します。しかし、ユーザーはGPS座標以外の知識を活用することができず、モデルは場所の理解やユーザーとの会話能力を欠いています。近年、大規模マルチモーダルモデル（LMMs）の著しい進展に伴い、プロプライエタリおよびオープンソースの研究者たちがLMMsを介した画像のジオローカライゼーションに取り組んでいます。しかし、一般的なタスクを超えて、ジオローカライゼーションのようなより専門的な下流タスクにおいて、LMMsは依然として課題を抱えています。本研究では、ユーザーの要求に応じて画像の場所に関する情報を提供できる会話型モデルGAEAを導入することで、この問題を解決することを提案します。このようなモデルの訓練を可能にする大規模なデータセットは存在しないため、OpenStreetMap（OSM）の属性と地理的な文脈の手がかりを活用して構築された80万枚の画像と約160万の質問応答ペアからなる包括的なデータセットGAEAを提案します。定量的評価のために、多様な質問タイプを備えた会話能力を評価するための4Kの画像テキストペアからなる多様なベンチマークを提案します。11の最先端のオープンソースおよびプロプライエタリのLMMsを検討し、GAEAが最良のオープンソースモデルであるLLaVA-OneVisionを25.69%、最良のプロプライエタリモデルであるGPT-4oを8.28%上回ることを示します。私たちのデータセット、モデル、コードは公開されています。

English

Image geolocalization, in which, traditionally, an AI model predicts the precise GPS coordinates of an image is a challenging task with many downstream applications. However, the user cannot utilize the model to further their knowledge other than the GPS coordinate; the model lacks an understanding of the location and the conversational ability to communicate with the user. In recent days, with tremendous progress of large multimodal models (LMMs) proprietary and open-source researchers have attempted to geolocalize images via LMMs. However, the issues remain unaddressed; beyond general tasks, for more specialized downstream tasks, one of which is geolocalization, LMMs struggle. In this work, we propose to solve this problem by introducing a conversational model GAEA that can provide information regarding the location of an image, as required by a user. No large-scale dataset enabling the training of such a model exists. Thus we propose a comprehensive dataset GAEA with 800K images and around 1.6M question answer pairs constructed by leveraging OpenStreetMap (OSM) attributes and geographical context clues. For quantitative evaluation, we propose a diverse benchmark comprising 4K image-text pairs to evaluate conversational capabilities equipped with diverse question types. We consider 11 state-of-the-art open-source and proprietary LMMs and demonstrate that GAEA significantly outperforms the best open-source model, LLaVA-OneVision by 25.69% and the best proprietary model, GPT-4o by 8.28%. Our dataset, model and codes are available