MapQaTor: Ein System zur effizienten Annotation von Kartensuchdatensätzen

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Autoren: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Zusammenfassung

Mapping- und Navigationsdienste wie Google Maps, Apple Maps und OpenStreetMaps sind entscheidend für den Zugriff auf verschiedene standortbasierte Daten, haben jedoch oft Schwierigkeiten bei der Verarbeitung von geospatialen Anfragen in natürlicher Sprache. Neueste Fortschritte in Large Language Models (LLMs) zeigen vielversprechende Ergebnisse bei der Fragebeantwortung (QA), aber die Erstellung zuverlässiger geospatialer QA-Datensätze aus Kartendiensten bleibt herausfordernd. Wir stellen MapQaTor vor, eine Webanwendung, die die Erstellung reproduzierbarer, nachvollziehbarer kartenbasierter QA-Datensätze vereinfacht. Mit seiner Plug-and-Play-Architektur ermöglicht MapQaTor eine nahtlose Integration mit jeder Karten-API und ermöglicht es den Benutzern, Daten aus verschiedenen Quellen mit minimalem Setup zu sammeln und zu visualisieren. Durch das Zwischenspeichern von API-Antworten gewährleistet die Plattform eine konsistente Ground Truth und verbessert so die Zuverlässigkeit der Daten, auch wenn sich Echtzeitinformationen ändern. MapQaTor zentralisiert die Datenerfassung, Annotation und Visualisierung innerhalb einer einzigen Plattform und bietet eine einzigartige Gelegenheit, den aktuellen Stand der LLM-basierten geospatialen Schlussfolgerung zu bewerten und ihre Fähigkeiten zur Verbesserung des geospatialen Verständnisses voranzutreiben. Evaluationsmetriken zeigen, dass MapQaTor den Annotierungsprozess im Vergleich zu manuellen Methoden um mindestens das 30-fache beschleunigt und damit sein Potenzial für die Entwicklung geospatialer Ressourcen, wie komplexe Karten-Schlussfolgerungsdatensätze, unterstreicht. Die Website ist unter folgendem Link live verfügbar: https://mapqator.github.io/ und ein Demo-Video ist hier verfügbar: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.