PANORAMA: O Surgimento da Visão Omnidirecional na Era da IA Corporificada

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

Autores: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

Resumo

A visão omnidirecional, que utiliza visão de 360 graus para compreender o ambiente, tornou-se cada vez mais crítica em domínios como robótica, inspeção industrial e monitoramento ambiental. Em comparação com a visão tradicional de pinhole, a visão omnidirecional proporciona uma consciência ambiental holística, melhorando significativamente a completude da percepção de cena e a confiabilidade da tomada de decisões. No entanto, a pesquisa fundamental nessa área historicamente ficou atrás da visão tradicional de pinhole. Esta palestra apresenta uma tendência emergente na era da IA incorporada: o rápido desenvolvimento da visão omnidirecional, impulsionado pela crescente demanda industrial e interesse acadêmico. Destacamos avanços recentes em geração omnidirecional, percepção omnidirecional, compreensão omnidirecional e conjuntos de dados relacionados. Com base em insights tanto da academia quanto da indústria, propomos uma arquitetura de sistema panorâmico ideal na era da IA incorporada, chamada PANORAMA, que consiste em quatro subsistemas principais. Além disso, oferecemos opiniões detalhadas relacionadas a tendências emergentes e impactos intercomunitários na interseção entre visão panorâmica e IA incorporada, juntamente com o roteiro futuro e os desafios em aberto. Esta visão geral sintetiza os avanços de ponta e delineia desafios e oportunidades para pesquisas futuras na construção de sistemas de IA omnidirecionais robustos e de propósito geral na era da IA incorporada.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.