"¿Parece accesible la entrada del café? ¿Dónde está la puerta?" Hacia agentes de IA geoespacial para consultas visuales
"Does the cafe entrance look accessible? Where is the door?" Towards Geospatial AI Agents for Visual Inquiries
August 21, 2025
Autores: Jon E. Froehlich, Jared Hwang, Zeyu Wang, John S. O'Meara, Xia Su, William Huang, Yang Zhang, Alex Fiannaca, Philip Nelson, Shaun Kane
cs.AI
Resumen
Los mapas digitales interactivos han revolucionado la forma en que las personas viajan y aprenden sobre el mundo; sin embargo, dependen de datos estructurados preexistentes en bases de datos GIS (por ejemplo, redes viales, índices de puntos de interés), lo que limita su capacidad para abordar preguntas geo-visuales relacionadas con cómo se ve el mundo. Presentamos nuestra visión de los Agentes Geo-Visuales: agentes de IA multimodales capaces de comprender y responder a consultas visual-espaciales matizadas sobre el mundo mediante el análisis de repositorios a gran escala de imágenes geoespaciales, incluyendo vistas de calles (por ejemplo, Google Street View), fotos basadas en lugares (por ejemplo, TripAdvisor, Yelp) e imágenes aéreas (por ejemplo, fotos satelitales), combinadas con fuentes de datos GIS tradicionales. Definimos nuestra visión, describimos enfoques de detección e interacción, proporcionamos tres ejemplos y enumeramos los desafíos clave y las oportunidades para trabajos futuros.
English
Interactive digital maps have revolutionized how people travel and learn
about the world; however, they rely on pre-existing structured data in GIS
databases (e.g., road networks, POI indices), limiting their ability to address
geo-visual questions related to what the world looks like. We introduce our
vision for Geo-Visual Agents--multimodal AI agents capable of understanding and
responding to nuanced visual-spatial inquiries about the world by analyzing
large-scale repositories of geospatial images, including streetscapes (e.g.,
Google Street View), place-based photos (e.g., TripAdvisor, Yelp), and aerial
imagery (e.g., satellite photos) combined with traditional GIS data sources. We
define our vision, describe sensing and interaction approaches, provide three
exemplars, and enumerate key challenges and opportunities for future work.