DreamScene: Генерация 3D-сцен из текста на основе 3D-гауссовых моделей с использованием сквозного подхода

DreamScene: 3D Gaussian-based End-to-end Text-to-3D Scene Generation

July 18, 2025

Авторы: Haoran Li, Yuli Tian, Kun Lan, Yong Liao, Lin Wang, Pan Hui, Peng Yuan Zhou

cs.AI

Аннотация

Создание 3D-сцен на основе естественного языка открывает широкие перспективы для применения в играх, кино и дизайне. Однако существующие методы сталкиваются с трудностями в автоматизации, обеспечении 3D-согласованности и детализированном управлении. Мы представляем DreamScene — сквозную платформу для генерации высококачественных и редактируемых 3D-сцен на основе текста или диалога. DreamScene начинается с модуля планирования сцены, где агент GPT-4 выводит семантику объектов и пространственные ограничения для построения гибридного графа. Затем алгоритм размещения на основе графа создает структурированную и свободную от коллизий компоновку. На основе этой компоновки метод Formation Pattern Sampling (FPS) генерирует геометрию объектов с использованием многошаговой выборки и реконструктивной оптимизации, обеспечивая быстрый и реалистичный синтез. Для обеспечения глобальной согласованности DreamScene применяет прогрессивную стратегию выборки камеры, адаптированную как для внутренних, так и для внешних сцен. Наконец, система поддерживает детализированное редактирование сцены, включая перемещение объектов, изменение внешнего вида и 4D-динамическое движение. Эксперименты показывают, что DreamScene превосходит предыдущие методы по качеству, согласованности и гибкости, предлагая практическое решение для создания 3D-контента в открытой области. Код и демонстрации доступны по адресу https://jahnsonblack.github.io/DreamScene-Full/.

English

Generating 3D scenes from natural language holds great promise for applications in gaming, film, and design. However, existing methods struggle with automation, 3D consistency, and fine-grained control. We present DreamScene, an end-to-end framework for high-quality and editable 3D scene generation from text or dialogue. DreamScene begins with a scene planning module, where a GPT-4 agent infers object semantics and spatial constraints to construct a hybrid graph. A graph-based placement algorithm then produces a structured, collision-free layout. Based on this layout, Formation Pattern Sampling (FPS) generates object geometry using multi-timestep sampling and reconstructive optimization, enabling fast and realistic synthesis. To ensure global consistent, DreamScene employs a progressive camera sampling strategy tailored to both indoor and outdoor settings. Finally, the system supports fine-grained scene editing, including object movement, appearance changes, and 4D dynamic motion. Experiments demonstrate that DreamScene surpasses prior methods in quality, consistency, and flexibility, offering a practical solution for open-domain 3D content creation. Code and demos are available at https://jahnsonblack.github.io/DreamScene-Full/.