GRE Suite: Inferência de Geo-localização por meio de Modelos Visão-Linguagem Ajustados e Cadeias de Raciocínio Aprimoradas

GRE Suite: Geo-localization Inference via Fine-Tuned Vision-Language Models and Enhanced Reasoning Chains

May 24, 2025

Autores: Chun Wang, Xiaoran Pan, Zihao Pan, Haofan Wang, Yiren Song

cs.AI

Resumo

Avanços recentes em Modelos de Linguagem Visual (VLMs) têm demonstrado desempenho excepcional em tarefas de raciocínio visual. No entanto, a geo-localização apresenta desafios únicos, exigindo a extração de pistas visuais multigranulares de imagens e sua integração com conhecimento externo do mundo para um raciocínio sistemático. As abordagens atuais para tarefas de geo-localização frequentemente carecem de mecanismos robustos de raciocínio e explicabilidade, limitando sua eficácia. Para abordar essas limitações, propomos o Geo Reason Enhancement (GRE) Suite, um novo framework que aprimora VLMs com cadeias de raciocínio estruturadas para inferência de localização precisa e interpretável. O GRE Suite é desenvolvido sistematicamente em três dimensões principais: conjunto de dados, modelo e benchmark. Primeiro, introduzimos o GRE30K, um conjunto de dados de raciocínio de geo-localização de alta qualidade projetado para facilitar análises visuais e contextuais refinadas. Em seguida, apresentamos o modelo GRE, que emprega uma estratégia de raciocínio em múltiplos estágios para inferir progressivamente atributos de cena, detalhes locais e características semânticas, reduzindo assim as regiões geográficas potenciais com maior precisão. Por fim, construímos o Geo Reason Evaluation Benchmark (GREval-Bench), um framework de avaliação abrangente que avalia VLMs em diversas cenas urbanas, naturais e de pontos de referência, medindo tanto o desempenho de localização em nível grosseiro (por exemplo, país, continente) quanto refinado (por exemplo, cidade, rua). Resultados experimentais demonstram que o GRE supera significativamente os métodos existentes em todas as granularidades de tarefas de geo-localização, destacando a eficácia de VLMs aprimorados por raciocínio em inferências geográficas complexas. Código e dados serão disponibilizados em https://github.com/Thorin215/GRE.

English

Recent advances in Visual Language Models (VLMs) have demonstrated exceptional performance in visual reasoning tasks. However, geo-localization presents unique challenges, requiring the extraction of multigranular visual cues from images and their integration with external world knowledge for systematic reasoning. Current approaches to geo-localization tasks often lack robust reasoning mechanisms and explainability, limiting their effectiveness. To address these limitations, we propose the Geo Reason Enhancement (GRE) Suite, a novel framework that augments VLMs with structured reasoning chains for accurate and interpretable location inference. The GRE Suite is systematically developed across three key dimensions: dataset, model, and benchmark. First, we introduce GRE30K, a high-quality geo-localization reasoning dataset designed to facilitate fine-grained visual and contextual analysis. Next, we present the GRE model, which employs a multi-stage reasoning strategy to progressively infer scene attributes, local details, and semantic features, thereby narrowing down potential geographic regions with enhanced precision. Finally, we construct the Geo Reason Evaluation Benchmark (GREval-Bench), a comprehensive evaluation framework that assesses VLMs across diverse urban, natural, and landmark scenes to measure both coarse-grained (e.g., country, continent) and fine-grained (e.g., city, street) localization performance. Experimental results demonstrate that GRE significantly outperforms existing methods across all granularities of geo-localization tasks, underscoring the efficacy of reasoning-augmented VLMs in complex geographic inference. Code and data will be released at https://github.com/Thorin215/GRE.