LayerPano3D: 초미세한 장면 생성을 위한 층별 3D 파노라마

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

저자: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

초록

컴퓨터 비전 및 그래픽 분야에서 3D 몰입형 장면 생성은 어렵지만 중요한 작업입니다. 원하는 가상 3D 장면은 1) 전방향 뷰 일관성을 보여야 하며, 2) 복잡한 장면 계층에서 자유롭게 탐험할 수 있어야 합니다. 기존 방법은 연속적인 장면 확장을 통해 인페인팅을 사용하거나 큰 시야각 장면 환경을 표현하기 위해 파노라마 표현을 사용합니다. 그러나 생성된 장면은 확장 중 의미적 드리프트를 겪고 장면 계층 간의 가려짐을 처리할 수 없습니다. 이러한 도전 과제를 해결하기 위해 단일 텍스트 프롬프트로부터 전체 뷰, 탐험 가능한 파노라마 3D 장면 생성을 위한 새로운 LayerPano3D 프레임워크를 소개합니다. 우리의 주요 아이디어는 참조 2D 파노라마를 다양한 깊이 수준에서 여러 레이어로 분해하는 것입니다. 각 레이어는 참조 뷰로부터 보이지 않는 공간을 확산 사전을 통해 드러냅니다. LayerPano3D에는 여러 전용 설계가 포함되어 있습니다: 1) 고품질, 일관된 파노라마 생성을 위한 새로운 텍스트 안내 앵커 뷰 합성 파이프라인을 소개합니다. 2) 복잡한 장면 계층을 관리하기 위한 기본 표현으로 Layered 3D Panorama를 개척하고, 이를 3D 가우시안으로 끌어 올려 상세한 360도 전방향 장면을 자유로운 보기 경로로 표현합니다. 광범위한 실험을 통해 우리의 프레임워크가 전체 뷰 일관성과 몰입형 탐험 경험 모두에서 최신 기술의 3D 파노라마 장면을 생성한다는 것을 입증했습니다. LayerPano3D가 다양한 응용 분야에서 3D 파노라마 장면 생성을 발전시키는 데 유망하다고 믿습니다.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.