RealmDreamer: Генерация трехмерных сцен на основе текста с восстановлением и диффузией глубины

RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

April 10, 2024

Авторы: Jaidev Shriram, Alex Trevithick, Lingjie Liu, Ravi Ramamoorthi

cs.AI

Аннотация

Мы представляем RealmDreamer, технику генерации общих трехмерных сцен впереди с помощью текстовых описаний. Наша техника оптимизирует трехмерное представление гауссовского сплетения для соответствия сложным текстовым подсказкам. Мы инициализируем эти сплетения, используя передовые генераторы текста в изображение, преобразуя их образцы в трехмерное пространство и вычисляя объем заслонения. Затем мы оптимизируем это представление по нескольким видам как задачу трехмерного заполнения с помощью моделей диффузии, условием которых является изображение. Для изучения правильной геометрической структуры мы включаем модель диффузии глубины, условием которой являются образцы из модели заполнения, обеспечивая богатую геометрическую структуру. Наконец, мы донастраиваем модель, используя улучшенные образцы от генераторов изображений. Особенно стоит отметить, что наша техника не требует видео- или многовидовых данных и способна синтезировать разнообразные трехмерные сцены высокого качества в различных стилях, состоящие из нескольких объектов. Ее универсальность также позволяет синтезировать трехмерные изображения из одного изображения.

English

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.