MapQaTor: Een systeem voor efficiënte annotatie van kaartquery-datasets

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Auteurs: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Samenvatting

Mapping- en navigatiediensten zoals Google Maps, Apple Maps en OpenStreetMaps zijn essentieel voor het verkrijgen van verschillende op locatie gebaseerde gegevens, maar hebben vaak moeite met het verwerken van natuurlijke taal georuimtelijke vragen. Recente ontwikkelingen in Grote Taalmodellen (LLM's) tonen veelbelovende resultaten op het gebied van vraag-antwoordsystemen (QA), maar het blijft uitdagend om betrouwbare georuimtelijke QA-datasets te creëren vanuit kaartservices. Wij introduceren MapQaTor, een webapplicatie die het creëren van reproduceerbare, traceerbare op kaarten gebaseerde QA-datasets stroomlijnt. Met zijn plug-and-play architectuur maakt MapQaTor naadloze integratie met elke kaarten-API mogelijk, waardoor gebruikers gegevens kunnen verzamelen en visualiseren vanuit diverse bronnen met minimale configuratie. Door het cachen van API-responsen zorgt het platform voor consistente grondwaarheid, waardoor de betrouwbaarheid van de gegevens wordt verbeterd, zelfs wanneer real-world informatie evolueert. MapQaTor centraliseert gegevensverzameling, annotatie en visualisatie binnen één platform, wat een unieke kans biedt om de huidige stand van LLM-gebaseerde georuimtelijke redenering te evalueren en hun mogelijkheden te verbeteren voor een beter begrip van georuimtelijke informatie. Evaluatiemetrics tonen aan dat MapQaTor het annotatieproces met minstens 30 keer versnelt in vergelijking met handmatige methoden, waarbij de potentie ervan voor het ontwikkelen van georuimtelijke bronnen, zoals complexe kaartredeneerdatabases, wordt benadrukt. De website is live op: https://mapqator.github.io/ en een demovideo is beschikbaar op: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.