ScenePainter: 개념 관계 정렬을 통한 의미론적 일관성의 지속적 3D 장면 생성

초록

영구적 3D 장면 생성은 장거리 및 일관된 3D 뷰 시퀀스를 생성하는 것을 목표로 하며, 이는 장기 비디오 합성 및 3D 장면 재구성에 적용 가능합니다. 기존 방법들은 "탐색-상상" 방식에 따라 연속적인 뷰 확장을 위해 아웃페인팅에 의존합니다. 그러나 생성된 뷰 시퀀스는 아웃페인팅 모듈의 누적된 편차로 인해 발생하는 의미적 드리프트 문제를 겪습니다. 이 문제를 해결하기 위해, 우리는 의미적으로 일관된 3D 장면 생성을 위한 새로운 프레임워크인 ScenePainter를 제안합니다. 이 프레임워크는 아웃페인터의 장면 특정 사전 지식을 현재 장면의 이해와 정렬합니다. 구체적으로, 우리는 다중 수준 장면 개념 간의 관계를 구성하기 위해 SceneConceptGraph라는 계층적 그래프 구조를 도입하여, 일관된 새로운 뷰를 위한 아웃페인터를 지시하고 다양성을 향상시키기 위해 동적으로 개선될 수 있습니다. 광범위한 실험을 통해 우리의 프레임워크가 의미적 드리프트 문제를 극복하고 더 일관적이고 몰입감 있는 3D 뷰 시퀀스를 생성함을 입증했습니다. 프로젝트 페이지: https://xiac20.github.io/ScenePainter/.

English

Perpetual 3D scene generation aims to produce long-range and coherent 3D view sequences, which is applicable for long-term video synthesis and 3D scene reconstruction. Existing methods follow a "navigate-and-imagine" fashion and rely on outpainting for successive view expansion. However, the generated view sequences suffer from semantic drift issue derived from the accumulated deviation of the outpainting module. To tackle this challenge, we propose ScenePainter, a new framework for semantically consistent 3D scene generation, which aligns the outpainter's scene-specific prior with the comprehension of the current scene. To be specific, we introduce a hierarchical graph structure dubbed SceneConceptGraph to construct relations among multi-level scene concepts, which directs the outpainter for consistent novel views and can be dynamically refined to enhance diversity. Extensive experiments demonstrate that our framework overcomes the semantic drift issue and generates more consistent and immersive 3D view sequences. Project Page: https://xiac20.github.io/ScenePainter/.

ScenePainter: 개념 관계 정렬을 통한 의미론적 일관성의 지속적 3D 장면 생성

ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment

초록

Support