LayerPano3D: Слойная 3D-панорама для генерации гипер-иммерсивных сцен

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Авторы: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Аннотация

Генерация трехмерных иммерсивных сцен представляет собой сложную, но критически важную задачу в области компьютерного зрения и графики. Желаемая виртуальная трехмерная сцена должна 1) обладать консистентностью обзора во всех направлениях и 2) позволять свободное исследование в сложных иерархиях сцен. Существующие методы либо основаны на последовательном расширении сцены с помощью заполнения пробелов, либо используют панорамное представление для отображения сцен с широким углом обзора. Однако сгенерированная сцена страдает от семантического сдвига во время расширения и не способна обрабатывать заслонение между иерархиями сцен. Для решения этих проблем мы представляем LayerPano3D, новую структуру для генерации полнозначительных, исследуемых панорамных трехмерных сцен из одного текстового запроса. Наш ключевой принцип заключается в разложении ссылочной двухмерной панорамы на несколько слоев на разных уровнях глубины, где каждый слой раскрывает невидимое пространство из исходных видов с помощью предварительного диффузионного процесса. LayerPano3D включает в себя несколько специализированных решений: 1) мы представляем новую конвейерную синтезирующую анкерную точку, управляемую текстом, для генерации панорам высокого качества и согласованности. 2) Мы вводим Layered 3D Panorama в качестве базового представления для управления сложными иерархиями сцен и преобразуем его в трехмерные гауссовы функции для отображения детализированных 360-градусных сцен с неограниченными путями обзора. Обширные эксперименты показывают, что наша структура генерирует современные трехмерные панорамные сцены с полной согласованностью обзора и иммерсивным исследовательским опытом. Мы считаем, что LayerPano3D обладает потенциалом для продвижения создания трехмерных панорамных сцен с множеством приложений.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.