パノラマ：エンボディードAI時代における全方位視覚の台頭

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

著者: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

要旨

全方位視覚（Omnidirectional Vision）は、360度の視野を用いて環境を理解する技術であり、ロボティクス、産業検査、環境モニタリングなどの分野で重要性を増しています。従来のピンホール視覚と比較して、全方位視覚は環境全体の認識を提供し、シーン知覚の完全性と意思決定の信頼性を大幅に向上させます。しかし、この分野の基礎研究は歴史的にピンホール視覚に遅れを取ってきました。本講演では、エンボディードAI時代における新たなトレンドとして、産業界の需要と学術的関心の高まりによって急速に発展している全方位視覚を取り上げます。我々は、全方位生成、全方位知覚、全方位理解、および関連データセットにおける最近のブレークスルーを紹介します。学界と産業界の知見を基に、エンボディードAI時代における理想的なパノラマシステムアーキテクチャ「PANORAMA」を提案します。これは4つの主要なサブシステムで構成されています。さらに、パノラマ視覚とエンボディードAIの交差点における新興トレンドとコミュニティ間の影響に関する深い見解を提供し、将来のロードマップと未解決の課題についても議論します。本概要は、最先端の進展を統合し、エンボディードAI時代における堅牢で汎用的な全方位AIシステムを構築するための将来研究の課題と機会を概説します。

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.