"Выглядит ли вход в кафе доступным? Где находится дверь?" В сторону геопространственных ИИ-агентов для визуальных запросов

"Does the cafe entrance look accessible? Where is the door?" Towards Geospatial AI Agents for Visual Inquiries

August 21, 2025

Авторы: Jon E. Froehlich, Jared Hwang, Zeyu Wang, John S. O'Meara, Xia Su, William Huang, Yang Zhang, Alex Fiannaca, Philip Nelson, Shaun Kane

cs.AI

Аннотация

Интерактивные цифровые карты произвели революцию в том, как люди путешествуют и познают мир; однако они полагаются на предварительно структурированные данные в ГИС-базах (например, дорожные сети, индексы точек интереса), что ограничивает их способность отвечать на гео-визуальные вопросы, связанные с тем, как выглядит мир. Мы представляем наше видение Гео-Визуальных Агентов — мультимодальных ИИ-агентов, способных понимать и отвечать на сложные визуально-пространственные запросы о мире, анализируя крупномасштабные репозитории геопространственных изображений, включая панорамы улиц (например, Google Street View), фотографии мест (например, TripAdvisor, Yelp) и аэрофотоснимки (например, спутниковые снимки), объединенные с традиционными источниками ГИС-данных. Мы формулируем наше видение, описываем подходы к сбору данных и взаимодействию, приводим три примера и перечисляем ключевые вызовы и возможности для будущих исследований.

English

Interactive digital maps have revolutionized how people travel and learn about the world; however, they rely on pre-existing structured data in GIS databases (e.g., road networks, POI indices), limiting their ability to address geo-visual questions related to what the world looks like. We introduce our vision for Geo-Visual Agents--multimodal AI agents capable of understanding and responding to nuanced visual-spatial inquiries about the world by analyzing large-scale repositories of geospatial images, including streetscapes (e.g., Google Street View), place-based photos (e.g., TripAdvisor, Yelp), and aerial imagery (e.g., satellite photos) combined with traditional GIS data sources. We define our vision, describe sensing and interaction approaches, provide three exemplars, and enumerate key challenges and opportunities for future work.