파노라마: 구현된 AI 시대의 전방위 비전의 부상

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

저자: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

초록

전방위 시각(Omnidirectional Vision)은 360도 시야를 활용해 환경을 이해하는 기술로, 로봇공학, 산업 검사, 환경 모니터링 등 다양한 분야에서 점점 더 중요한 역할을 하고 있습니다. 기존의 핀홀 시각(Pinhole Vision)과 비교할 때, 전방위 시각은 환경에 대한 전체적인 인식을 제공함으로써 장면 인식의 완전성과 의사결정의 신뢰성을 크게 향상시킵니다. 그러나 이 분야의 기초 연구는 역사적으로 전통적인 핀홀 시각에 비해 뒤처져 왔습니다. 이 발표는 체화된 AI(Embodied AI) 시대의 새로운 트렌드인 전방위 시각의 급속한 발전을 소개합니다. 이는 산업적 수요와 학문적 관심의 증가에 의해 주도되고 있습니다. 우리는 최근의 전방위 생성(Omnidirectional Generation), 전방위 인지(Omnidirectional Perception), 전방위 이해(Omnidirectional Understanding) 및 관련 데이터셋 분야에서의 획기적인 발전을 강조합니다. 학계와 산업계의 통찰을 바탕으로, 체화된 AI 시대의 이상적인 파노라마 시스템 아키텍처인 PANORAMA를 제안합니다. 이는 네 가지 핵심 하위 시스템으로 구성됩니다. 또한, 파노라마 시각과 체화된 AI의 교차점에서 나타나는 새로운 트렌드와 커뮤니티 간의 영향에 대한 심층적인 의견과 함께, 미래 로드맵과 해결 과제를 제시합니다. 이 개요는 최첨단 발전을 종합하고, 체화된 AI 시대에 강력하고 범용적인 전방위 AI 시스템을 구축하기 위한 미래 연구의 도전과 기회를 제시합니다.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.