MapQaTor : Un système pour l'annotation efficace des ensembles de données de requêtes cartographiques

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Auteurs: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Résumé

Les services de cartographie et de navigation tels que Google Maps, Apple Plans, OpenStreetMap, sont essentiels pour accéder à diverses données basées sur la localisation, mais ils ont souvent du mal à gérer les requêtes géospatiales en langage naturel. Les récentes avancées dans les Modèles de Langage Géant (MLG) montrent des promesses en matière de réponse aux questions (QA), mais la création de jeux de données fiables pour le QA géospatial à partir des services de cartographie reste un défi. Nous présentons MapQaTor, une application web qui simplifie la création de jeux de données QA basés sur la carte reproductibles et traçables. Avec son architecture plug-and-play, MapQaTor permet une intégration transparente avec n'importe quelle API de cartes, permettant aux utilisateurs de collecter et visualiser des données provenant de sources diverses avec un minimum de configuration. En mettant en cache les réponses des API, la plateforme garantit une vérité terrain cohérente, améliorant la fiabilité des données même lorsque les informations du monde réel évoluent. MapQaTor centralise la collecte de données, l'annotation et la visualisation au sein d'une seule plateforme, offrant une opportunité unique d'évaluer l'état actuel du raisonnement géospatial basé sur les MLG tout en faisant progresser leurs capacités pour une meilleure compréhension géospatiale. Les métriques d'évaluation montrent que MapQaTor accélère le processus d'annotation d'au moins 30 fois par rapport aux méthodes manuelles, soulignant son potentiel pour le développement de ressources géospatiales, telles que des jeux de données complexes de raisonnement cartographique. Le site web est accessible à l'adresse : https://mapqator.github.io/ et une vidéo de démonstration est disponible à l'adresse : https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.