MapQaTor: Un sistema para la anotación eficiente de conjuntos de datos de consultas de mapas

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Autores: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Resumen

Servicios de mapeo y navegación como Google Maps, Apple Maps, OpenStreetMaps, son esenciales para acceder a diversos datos basados en ubicaciones, sin embargo, a menudo tienen dificultades para manejar consultas geoespaciales en lenguaje natural. Los avances recientes en Modelos de Lenguaje Grande (LLMs) muestran promesa en la respuesta a preguntas (QA), pero la creación de conjuntos de datos confiables de QA geoespacial a partir de servicios de mapas sigue siendo un desafío. Presentamos MapQaTor, una aplicación web que agiliza la creación de conjuntos de datos de QA basados en mapas reproducibles y rastreables. Con su arquitectura plug-and-play, MapQaTor permite una integración perfecta con cualquier API de mapas, lo que permite a los usuarios recopilar y visualizar datos de diversas fuentes con una configuración mínima. Al almacenar en caché las respuestas de la API, la plataforma garantiza una verdad terrestre consistente, mejorando la confiabilidad de los datos incluso a medida que evoluciona la información del mundo real. MapQaTor centraliza la recuperación, anotación y visualización de datos dentro de una sola plataforma, ofreciendo una oportunidad única para evaluar el estado actual del razonamiento geoespacial basado en LLM, al tiempo que avanza en sus capacidades para una mejor comprensión geoespacial. Las métricas de evaluación muestran que MapQaTor acelera el proceso de anotación al menos 30 veces en comparación con los métodos manuales, subrayando su potencial para desarrollar recursos geoespaciales, como conjuntos de datos de razonamiento de mapas complejos. El sitio web está en vivo en: https://mapqator.github.io/ y un video demostrativo está disponible en: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.