"Sieht der Cafeeingang barrierefrei aus? Wo ist die Tür?" Auf dem Weg zu geospatialen KI-Agenten für visuelle Anfragen.
"Does the cafe entrance look accessible? Where is the door?" Towards Geospatial AI Agents for Visual Inquiries
August 21, 2025
papers.authors: Jon E. Froehlich, Jared Hwang, Zeyu Wang, John S. O'Meara, Xia Su, William Huang, Yang Zhang, Alex Fiannaca, Philip Nelson, Shaun Kane
cs.AI
papers.abstract
Interaktive digitale Karten haben revolutioniert, wie Menschen reisen und die Welt kennenlernen; sie basieren jedoch auf bereits vorhandenen strukturierten Daten in GIS-Datenbanken (z. B. Straßennetze, POI-Indizes), was ihre Fähigkeit einschränkt, geovisuelle Fragen zu beantworten, die sich darauf beziehen, wie die Welt aussieht. Wir stellen unsere Vision für Geo-Visuelle Agenten vor – multimodale KI-Agenten, die in der Lage sind, differenzierte visuell-räumliche Anfragen über die Welt zu verstehen und zu beantworten, indem sie umfangreiche Repositorien geospatialer Bilder analysieren, darunter Straßenansichten (z. B. Google Street View), ortsbezogene Fotos (z. B. TripAdvisor, Yelp) und Luftaufnahmen (z. B. Satellitenfotos) in Kombination mit traditionellen GIS-Datenquellen. Wir definieren unsere Vision, beschreiben Ansätze zur Wahrnehmung und Interaktion, liefern drei exemplarische Beispiele und listen zentrale Herausforderungen und Chancen für zukünftige Arbeiten auf.
English
Interactive digital maps have revolutionized how people travel and learn
about the world; however, they rely on pre-existing structured data in GIS
databases (e.g., road networks, POI indices), limiting their ability to address
geo-visual questions related to what the world looks like. We introduce our
vision for Geo-Visual Agents--multimodal AI agents capable of understanding and
responding to nuanced visual-spatial inquiries about the world by analyzing
large-scale repositories of geospatial images, including streetscapes (e.g.,
Google Street View), place-based photos (e.g., TripAdvisor, Yelp), and aerial
imagery (e.g., satellite photos) combined with traditional GIS data sources. We
define our vision, describe sensing and interaction approaches, provide three
exemplars, and enumerate key challenges and opportunities for future work.