PANORAMA: Der Aufstieg der omnidirektionalen Wahrnehmung im Zeitalter der verkörperten KI

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

papers.authors: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

papers.abstract

Omnidirektionale Sicht, die 360-Grad-Vision zur Umgebungserfassung nutzt, wird in Bereichen wie Robotik, industrieller Inspektion und Umweltüberwachung zunehmend kritisch. Im Vergleich zur traditionellen Lochkamera-Vision bietet die omnidirektionale Sicht ein ganzheitliches Umgebungsbewusstsein, das die Vollständigkeit der Szenenwahrnehmung und die Zuverlässigkeit der Entscheidungsfindung erheblich verbessert. Grundlagenforschung in diesem Bereich hat jedoch historisch hinter der traditionellen Lochkamera-Vision zurückgelegen. Dieser Vortrag präsentiert einen aufkommenden Trend im Zeitalter des verkörperten KI: die rasante Entwicklung der omnidirektionalen Sicht, angetrieben durch wachsende industrielle Nachfrage und akademisches Interesse. Wir heben jüngste Durchbrüche in der omnidirektionalen Generierung, omnidirektionalen Wahrnehmung, omnidirektionalen Verständnis und verwandten Datensätzen hervor. Basierend auf Erkenntnissen aus Wissenschaft und Industrie schlagen wir eine ideale Panorama-Systemarchitektur im Zeitalter der verkörperten KI vor, PANORAMA, die aus vier Schlüssel-Subsystemen besteht. Darüber hinaus bieten wir detaillierte Meinungen zu aufkommenden Trends und interdisziplinären Auswirkungen an der Schnittstelle von Panorama-Vision und verkörperter KI sowie den zukünftigen Fahrplan und offene Herausforderungen. Dieser Überblick fasst die neuesten Fortschritte zusammen und skizziert Herausforderungen und Chancen für zukünftige Forschungen zum Aufbau robuster, universeller omnidirektionaler KI-Systeme im Zeitalter der verkörperten KI.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.