"L'entrée du café semble-t-elle accessible ? Où se trouve la porte ?" Vers des agents d'IA géospatiale pour les requêtes visuelles
"Does the cafe entrance look accessible? Where is the door?" Towards Geospatial AI Agents for Visual Inquiries
August 21, 2025
papers.authors: Jon E. Froehlich, Jared Hwang, Zeyu Wang, John S. O'Meara, Xia Su, William Huang, Yang Zhang, Alex Fiannaca, Philip Nelson, Shaun Kane
cs.AI
papers.abstract
Les cartes numériques interactives ont révolutionné la manière dont les gens voyagent et découvrent le monde ; cependant, elles reposent sur des données structurées préexistantes dans les bases de données SIG (par exemple, les réseaux routiers, les indices de points d'intérêt), ce qui limite leur capacité à répondre à des questions géo-visuelles liées à l'apparence du monde. Nous présentons notre vision des Agents Géo-Visuels – des agents d'IA multimodaux capables de comprendre et de répondre à des requêtes visuelles-spatiales nuancées sur le monde en analysant de vastes répertoires d'images géospatiales, incluant les paysages urbains (par exemple, Google Street View), les photos de lieux (par exemple, TripAdvisor, Yelp) et les images aériennes (par exemple, les photos satellites), combinées aux sources de données SIG traditionnelles. Nous définissons notre vision, décrivons les approches de détection et d'interaction, fournissons trois exemples illustratifs, et énumérons les défis clés et les opportunités pour les travaux futurs.
English
Interactive digital maps have revolutionized how people travel and learn
about the world; however, they rely on pre-existing structured data in GIS
databases (e.g., road networks, POI indices), limiting their ability to address
geo-visual questions related to what the world looks like. We introduce our
vision for Geo-Visual Agents--multimodal AI agents capable of understanding and
responding to nuanced visual-spatial inquiries about the world by analyzing
large-scale repositories of geospatial images, including streetscapes (e.g.,
Google Street View), place-based photos (e.g., TripAdvisor, Yelp), and aerial
imagery (e.g., satellite photos) combined with traditional GIS data sources. We
define our vision, describe sensing and interaction approaches, provide three
exemplars, and enumerate key challenges and opportunities for future work.