PANORAMA: Расширение возможностей панорамного зрения в эпоху воплощённого ИИ

PANORAMA: The Rise of Omnidirectional Vision in the Embodied AI Era

September 16, 2025

Авторы: Xu Zheng, Chenfei Liao, Ziqiao Weng, Kaiyu Lei, Zihao Dongfang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Lu Qi, Li Chen, Danda Pani Paudel, Kailun Yang, Linfeng Zhang, Luc Van Gool, Xuming Hu

cs.AI

Аннотация

Панорамное зрение, использующее 360-градусный обзор для понимания окружающей среды, становится всё более важным в таких областях, как робототехника, промышленный контроль и мониторинг окружающей среды. По сравнению с традиционным точечным зрением, панорамное зрение обеспечивает целостное восприятие окружающей среды, значительно повышая полноту восприятия сцены и надёжность принятия решений. Однако фундаментальные исследования в этой области исторически отставали от традиционного точечного зрения. В данном докладе представлена новая тенденция в эпоху воплощённого ИИ: стремительное развитие панорамного зрения, обусловленное растущим промышленным спросом и академическим интересом. Мы выделяем недавние прорывы в области панорамной генерации, панорамного восприятия, панорамного понимания и связанных с ними наборов данных. Опираясь на идеи как из академической, так и из промышленной сфер, мы предлагаем идеальную архитектуру панорамной системы в эпоху воплощённого ИИ, PANORAMA, которая состоит из четырёх ключевых подсистем. Кроме того, мы представляем глубокие мнения, связанные с новыми тенденциями и междисциплинарным влиянием на стыке панорамного зрения и воплощённого ИИ, а также с будущей дорожной картой и открытыми вызовами. Этот обзор объединяет последние достижения и намечает вызовы и возможности для будущих исследований в создании надёжных универсальных панорамных систем ИИ в эпоху воплощённого ИИ.

English

Omnidirectional vision, using 360-degree vision to understand the environment, has become increasingly critical across domains like robotics, industrial inspection, and environmental monitoring. Compared to traditional pinhole vision, omnidirectional vision provides holistic environmental awareness, significantly enhancing the completeness of scene perception and the reliability of decision-making. However, foundational research in this area has historically lagged behind traditional pinhole vision. This talk presents an emerging trend in the embodied AI era: the rapid development of omnidirectional vision, driven by growing industrial demand and academic interest. We highlight recent breakthroughs in omnidirectional generation, omnidirectional perception, omnidirectional understanding, and related datasets. Drawing on insights from both academia and industry, we propose an ideal panoramic system architecture in the embodied AI era, PANORAMA, which consists of four key subsystems. Moreover, we offer in-depth opinions related to emerging trends and cross-community impacts at the intersection of panoramic vision and embodied AI, along with the future roadmap and open challenges. This overview synthesizes state-of-the-art advancements and outlines challenges and opportunities for future research in building robust, general-purpose omnidirectional AI systems in the embodied AI era.