DreamScene: Geração de Cenas 3D Baseada em Gaussianas 3D de Texto para 3D de Ponta a Ponta

DreamScene: 3D Gaussian-based End-to-end Text-to-3D Scene Generation

July 18, 2025

Autores: Haoran Li, Yuli Tian, Kun Lan, Yong Liao, Lin Wang, Pan Hui, Peng Yuan Zhou

cs.AI

Resumo

A geração de cenas 3D a partir de linguagem natural apresenta grande potencial para aplicações em jogos, filmes e design. No entanto, os métodos existentes enfrentam desafios em termos de automação, consistência 3D e controle refinado. Apresentamos o DreamScene, uma estrutura de ponta a ponta para a geração de cenas 3D de alta qualidade e editáveis a partir de texto ou diálogo. O DreamScene começa com um módulo de planejamento de cena, onde um agente GPT-4 infere a semântica dos objetos e as restrições espaciais para construir um grafo híbrido. Um algoritmo de posicionamento baseado em grafo produz então um layout estruturado e livre de colisões. Com base nesse layout, a Amostragem de Padrão de Formação (FPS) gera a geometria dos objetos utilizando amostragem multi-timestep e otimização reconstrutiva, permitindo uma síntese rápida e realista. Para garantir consistência global, o DreamScene emprega uma estratégia de amostragem progressiva de câmera adaptada tanto a ambientes internos quanto externos. Por fim, o sistema suporta edição refinada da cena, incluindo movimento de objetos, alterações de aparência e movimento dinâmico 4D. Experimentos demonstram que o DreamScene supera métodos anteriores em qualidade, consistência e flexibilidade, oferecendo uma solução prática para a criação de conteúdo 3D em domínio aberto. Código e demonstrações estão disponíveis em https://jahnsonblack.github.io/DreamScene-Full/.

English

Generating 3D scenes from natural language holds great promise for applications in gaming, film, and design. However, existing methods struggle with automation, 3D consistency, and fine-grained control. We present DreamScene, an end-to-end framework for high-quality and editable 3D scene generation from text or dialogue. DreamScene begins with a scene planning module, where a GPT-4 agent infers object semantics and spatial constraints to construct a hybrid graph. A graph-based placement algorithm then produces a structured, collision-free layout. Based on this layout, Formation Pattern Sampling (FPS) generates object geometry using multi-timestep sampling and reconstructive optimization, enabling fast and realistic synthesis. To ensure global consistent, DreamScene employs a progressive camera sampling strategy tailored to both indoor and outdoor settings. Finally, the system supports fine-grained scene editing, including object movement, appearance changes, and 4D dynamic motion. Experiments demonstrate that DreamScene surpasses prior methods in quality, consistency, and flexibility, offering a practical solution for open-domain 3D content creation. Code and demos are available at https://jahnsonblack.github.io/DreamScene-Full/.