DreamScene: 3D 가우시안 기반의 종단간 텍스트-3D 장면 생성

DreamScene: 3D Gaussian-based End-to-end Text-to-3D Scene Generation

July 18, 2025

저자: Haoran Li, Yuli Tian, Kun Lan, Yong Liao, Lin Wang, Pan Hui, Peng Yuan Zhou

cs.AI

초록

자연어로부터 3D 장면을 생성하는 기술은 게임, 영화, 디자인 등 다양한 분야에서 큰 잠재력을 지니고 있다. 그러나 기존 방법들은 자동화, 3D 일관성, 세밀한 제어 측면에서 한계를 보인다. 본 연구에서는 텍스트 또는 대화로부터 고품질의 편집 가능한 3D 장면을 생성하기 위한 종단간(end-to-end) 프레임워크인 DreamScene을 제안한다. DreamScene은 장면 계획 모듈로 시작하며, 여기서 GPT-4 에이전트가 객체 의미론과 공간적 제약을 추론하여 하이브리드 그래프를 구성한다. 이후 그래프 기반 배치 알고리즘이 구조화되고 충돌이 없는 레이아웃을 생성한다. 이 레이아웃을 기반으로 형성 패턴 샘플링(Formation Pattern Sampling, FPS)은 다중 타임스텝 샘플링과 재구성 최적화를 통해 객체 기하학을 생성함으로써 빠르고 현실적인 합성을 가능하게 한다. 전역적 일관성을 보장하기 위해 DreamScene은 실내 및 실외 설정에 맞춰진 점진적 카메라 샘플링 전략을 사용한다. 마지막으로, 이 시스템은 객체 이동, 외관 변경, 4D 동적 모션을 포함한 세밀한 장면 편집을 지원한다. 실험 결과, DreamScene은 품질, 일관성, 유연성 측면에서 기존 방법들을 능가하며, 개방형 도메인 3D 콘텐츠 생성에 실용적인 해결책을 제공한다. 코드와 데모는 https://jahnsonblack.github.io/DreamScene-Full/에서 확인할 수 있다.

English

Generating 3D scenes from natural language holds great promise for applications in gaming, film, and design. However, existing methods struggle with automation, 3D consistency, and fine-grained control. We present DreamScene, an end-to-end framework for high-quality and editable 3D scene generation from text or dialogue. DreamScene begins with a scene planning module, where a GPT-4 agent infers object semantics and spatial constraints to construct a hybrid graph. A graph-based placement algorithm then produces a structured, collision-free layout. Based on this layout, Formation Pattern Sampling (FPS) generates object geometry using multi-timestep sampling and reconstructive optimization, enabling fast and realistic synthesis. To ensure global consistent, DreamScene employs a progressive camera sampling strategy tailored to both indoor and outdoor settings. Finally, the system supports fine-grained scene editing, including object movement, appearance changes, and 4D dynamic motion. Experiments demonstrate that DreamScene surpasses prior methods in quality, consistency, and flexibility, offering a practical solution for open-domain 3D content creation. Code and demos are available at https://jahnsonblack.github.io/DreamScene-Full/.