PANORAMA: L'ascesa della visione omnidirezionale nell'era dell'IA incarnata
PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era
September 16, 2025
Autori: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu
cs.AI
Abstract
La visione omnidirezionale, che utilizza una visione a 360 gradi per comprendere l'ambiente, è diventata sempre più cruciale in vari ambiti come la robotica, l'ispezione industriale e il monitoraggio ambientale. Rispetto alla tradizionale visione a foro stenopeico, la visione omnidirezionale offre una consapevolezza ambientale olistica, migliorando significativamente la completezza della percezione della scena e l'affidabilità del processo decisionale. Tuttavia, la ricerca di base in questo settore è storicamente rimasta indietro rispetto alla visione a foro stenopeico tradizionale. Questo intervento presenta una tendenza emergente nell'era dell'AI incarnata: il rapido sviluppo della visione omnidirezionale, guidato dalla crescente domanda industriale e dall'interesse accademico. Evidenziamo le recenti scoperte nella generazione omnidirezionale, nella percezione omnidirezionale, nella comprensione omnidirezionale e nei relativi dataset. Basandoci su intuizioni provenienti sia dal mondo accademico che da quello industriale, proponiamo un'architettura ideale per un sistema panoramico nell'era dell'AI incarnata, PANORAMA, composta da quattro sottosistemi chiave. Inoltre, offriamo opinioni approfondite relative alle tendenze emergenti e agli impatti trasversali alla comunità all'intersezione tra visione panoramica e AI incarnata, insieme alla roadmap futura e alle sfide aperte. Questa panoramica sintetizza i progressi più avanzati e delinea le sfide e le opportunità per la ricerca futura nella costruzione di sistemi di AI omnidirezionale robusti e generici nell'era dell'AI incarnata.
English
Omnidirectional vision, using 360-degree vision to understand the
environment, has become increasingly critical across domains like robotics,
industrial inspection, and environmental monitoring. Compared to traditional
pinhole vision, omnidirectional vision provides holistic environmental
awareness, significantly enhancing the completeness of scene perception and the
reliability of decision-making. However, foundational research in this area has
historically lagged behind traditional pinhole vision. This talk presents an
emerging trend in the embodied AI era: the rapid development of omnidirectional
vision, driven by growing industrial demand and academic interest. We highlight
recent breakthroughs in omnidirectional generation, omnidirectional perception,
omnidirectional understanding, and related datasets. Drawing on insights from
both academia and industry, we propose an ideal panoramic system architecture
in the embodied AI era, PANORAMA, which consists of four key subsystems.
Moreover, we offer in-depth opinions related to emerging trends and
cross-community impacts at the intersection of panoramic vision and embodied
AI, along with the future roadmap and open challenges. This overview
synthesizes state-of-the-art advancements and outlines challenges and
opportunities for future research in building robust, general-purpose
omnidirectional AI systems in the embodied AI era.