"카페 입구가 접근 가능해 보이나요? 문은 어디에 있나요?" 시각적 질의를 위한 지리공간 AI 에이전트를 향하여

초록

인터랙티브 디지털 지도는 사람들이 여행하고 세계에 대해 배우는 방식을 혁신적으로 바꿔 놓았습니다. 그러나 이러한 지도는 GIS 데이터베이스(예: 도로 네트워크, POI 인덱스)에 미리 구조화된 데이터에 의존하기 때문에, 세계가 어떻게 보이는지와 관련된 지리 시각적 질문에 대응하는 데 한계가 있습니다. 우리는 '지리 시각적 에이전트(Geo-Visual Agents)'에 대한 비전을 소개합니다. 이는 대규모 지리 공간 이미지 저장소(예: Google 스트리트 뷰, TripAdvisor, Yelp와 같은 장소 기반 사진, 위성 사진과 같은 항공 이미지)를 전통적인 GIS 데이터 소스와 결합하여 분석함으로써, 세밀한 시각-공간적 질문을 이해하고 응답할 수 있는 멀티모달 AI 에이전트입니다. 우리는 이 비전을 정의하고, 감지 및 상호작용 접근 방식을 설명하며, 세 가지 예시를 제공하고, 향후 연구를 위한 주요 도전 과제와 기회를 열거합니다.

English

Interactive digital maps have revolutionized how people travel and learn about the world; however, they rely on pre-existing structured data in GIS databases (e.g., road networks, POI indices), limiting their ability to address geo-visual questions related to what the world looks like. We introduce our vision for Geo-Visual Agents--multimodal AI agents capable of understanding and responding to nuanced visual-spatial inquiries about the world by analyzing large-scale repositories of geospatial images, including streetscapes (e.g., Google Street View), place-based photos (e.g., TripAdvisor, Yelp), and aerial imagery (e.g., satellite photos) combined with traditional GIS data sources. We define our vision, describe sensing and interaction approaches, provide three exemplars, and enumerate key challenges and opportunities for future work.

"카페 입구가 접근 가능해 보이나요? 문은 어디에 있나요?" 시각적 질의를 위한 지리공간 AI 에이전트를 향하여

"Does the cafe entrance look accessible? Where is the door?" Towards Geospatial AI Agents for Visual Inquiries

초록

Support