PANORAMA : L'essor de la vision omnidirectionnelle à l'ère de l'IA incarnée

papers.abstract

La vision omnidirectionnelle, qui utilise une vision à 360 degrés pour comprendre l'environnement, est devenue de plus en plus cruciale dans des domaines tels que la robotique, l'inspection industrielle et la surveillance environnementale. Comparée à la vision traditionnelle par sténopé, la vision omnidirectionnelle offre une conscience environnementale holistique, améliorant significativement l'exhaustivité de la perception des scènes et la fiabilité de la prise de décision. Cependant, la recherche fondamentale dans ce domaine a historiquement pris du retard par rapport à la vision par sténopé traditionnelle. Cette présentation explore une tendance émergente à l'ère de l'IA incarnée : le développement rapide de la vision omnidirectionnelle, stimulé par une demande industrielle croissante et un intérêt académique accru. Nous mettons en lumière les récentes avancées dans la génération omnidirectionnelle, la perception omnidirectionnelle, la compréhension omnidirectionnelle et les jeux de données associés. En nous appuyant sur les perspectives issues du monde académique et de l'industrie, nous proposons une architecture de système panoramique idéale à l'ère de l'IA incarnée, PANORAMA, composée de quatre sous-systèmes clés. De plus, nous offrons des opinions approfondies sur les tendances émergentes et les impacts intercommunautaires à l'intersection de la vision panoramique et de l'IA incarnée, ainsi que sur la feuille de route future et les défis ouverts. Cette synthèse rassemble les avancées de pointe et esquisse les défis et opportunités pour la recherche future dans la construction de systèmes d'IA omnidirectionnels robustes et polyvalents à l'ère de l'IA incarnée.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.

PANORAMA : L'essor de la vision omnidirectionnelle à l'ère de l'IA incarnée

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

papers.abstract

Support