MapQaTor: Система для эффективной разметки наборов данных запросов карт.

MapQaTor: A System for Efficient Annotation of Map Query Datasets

December 30, 2024

Авторы: Mahir Labib Dihan, Mohammed Eunus Ali, Md Rizwan Parvez

cs.AI

Аннотация

Службы картографирования и навигации, такие как Google Maps, Apple Maps, Openstreet Maps, являются неотъемлемыми для доступа к различным данным, основанным на местоположении, однако они часто испытывают трудности с обработкой естественноязыковых геопространственных запросов. Недавние достижения в области больших языковых моделей (LLM) показывают потенциал в вопросно-ответных системах (QA), однако создание надежных геопространственных наборов данных для QA из картографических служб остается сложной задачей. Мы представляем MapQaTor, веб-приложение, которое упрощает создание воспроизводимых, прослеживаемых наборов данных для вопросно-ответных систем на основе карт. Благодаря своей модульной архитектуре, MapQaTor обеспечивает безпрепятственную интеграцию с любым API карт, позволяя пользователям собирать и визуализировать данные из различных источников с минимальной настройкой. Путем кэширования ответов API платформа обеспечивает постоянное основание истинных данных, улучшая надежность данных даже при изменении информации в реальном мире. MapQaTor централизует получение данных, аннотацию и визуализацию в рамках единой платформы, предлагая уникальную возможность оценить текущее состояние геопространственного рассуждения на основе LLM и развивать их возможности для улучшенного понимания геопространственных данных. Метрики оценки показывают, что MapQaTor ускоряет процесс аннотации как минимум в 30 раз по сравнению с ручными методами, подчеркивая его потенциал для развития геопространственных ресурсов, таких как сложные наборы данных для картографических рассуждений. Веб-сайт доступен по адресу: https://mapqator.github.io/, а демонстрационное видео доступно по ссылке: https://youtu.be/7_aV9Wmhs6Q.

English

Mapping and navigation services like Google Maps, Apple Maps, Openstreet Maps, are essential for accessing various location-based data, yet they often struggle to handle natural language geospatial queries. Recent advancements in Large Language Models (LLMs) show promise in question answering (QA), but creating reliable geospatial QA datasets from map services remains challenging. We introduce MapQaTor, a web application that streamlines the creation of reproducible, traceable map-based QA datasets. With its plug-and-play architecture, MapQaTor enables seamless integration with any maps API, allowing users to gather and visualize data from diverse sources with minimal setup. By caching API responses, the platform ensures consistent ground truth, enhancing the reliability of the data even as real-world information evolves. MapQaTor centralizes data retrieval, annotation, and visualization within a single platform, offering a unique opportunity to evaluate the current state of LLM-based geospatial reasoning while advancing their capabilities for improved geospatial understanding. Evaluation metrics show that, MapQaTor speeds up the annotation process by at least 30 times compared to manual methods, underscoring its potential for developing geospatial resources, such as complex map reasoning datasets. The website is live at: https://mapqator.github.io/ and a demo video is available at: https://youtu.be/7_aV9Wmhs6Q.