PANORAMA: El auge de la visión omnidireccional en la era de la IA encarnada

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

Autores: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

Resumen

La visión omnidireccional, que utiliza una visión de 360 grados para comprender el entorno, se ha vuelto cada vez más crítica en dominios como la robótica, la inspección industrial y el monitoreo ambiental. En comparación con la visión tradicional de tipo pinhole, la visión omnidireccional proporciona una conciencia ambiental holística, mejorando significativamente la completitud de la percepción de escenas y la confiabilidad en la toma de decisiones. Sin embargo, la investigación fundamental en esta área históricamente ha ido a la zaga de la visión tradicional de tipo pinhole. Esta charla presenta una tendencia emergente en la era de la IA encarnada: el rápido desarrollo de la visión omnidireccional, impulsado por la creciente demanda industrial y el interés académico. Destacamos avances recientes en generación omnidireccional, percepción omnidireccional, comprensión omnidireccional y conjuntos de datos relacionados. Basándonos en perspectivas tanto de la academia como de la industria, proponemos una arquitectura de sistema panorámico ideal en la era de la IA encarnada, PANORAMA, que consta de cuatro subsistemas clave. Además, ofrecemos opiniones profundas relacionadas con tendencias emergentes e impactos intercomunitarios en la intersección de la visión panorámica y la IA encarnada, junto con la hoja de ruta futura y los desafíos abiertos. Esta visión general sintetiza los avances más recientes y esboza los desafíos y oportunidades para futuras investigaciones en la construcción de sistemas de IA omnidireccionales robustos y de propósito general en la era de la IA encarnada.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.