Встраивание гауссовского сплэтинга в диффузионный денойзер для быстрой и масштабируемой генерации изображения в 3D на одном этапе.

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation

November 21, 2024

Авторы: Yuanhao Cai, He Zhang, Kai Zhang, Yixun Liang, Mengwei Ren, Fujun Luan, Qing Liu, Soo Ye Kim, Jianming Zhang, Zhifei Zhang, Yuqian Zhou, Zhe Lin, Alan Yuille

cs.AI

Аннотация

Существующие методы преобразования изображений в 3D с прямой передачей данных в основном основаны на моделях диффузии многовидовых 2D, которые не могут гарантировать 3D согласованность. Эти методы легко теряют стабильность при изменении направления обзора и в основном обрабатывают объектно-центрические исходные изображения. В данной статье мы предлагаем новую модель диффузии 3D одноэтапного действия, DiffusionGS, для создания объектов и сцен из одного вида. DiffusionGS напрямую выводит 3D облака точек Гаусса на каждом временном шаге для обеспечения согласованности обзора и позволяет модели надежно генерировать результаты при исходных видах в любом направлении, превосходя объектно-центрические входы. Кроме того, для улучшения возможностей и обобщающей способности DiffusionGS мы увеличиваем объем тренировочных данных 3D, разработав стратегию смешанного обучения сцен и объектов. Эксперименты показывают, что наш метод обладает лучшим качеством генерации (на 2,20 дБ выше в PSNR и на 23,25 ниже в FID) и более чем в 5 раз быстрее (~6 с на GPU A100) по сравнению с лучшими существующими методами. Пользовательское исследование и применения текста к 3D также раскрывают практическую ценность нашего метода. На странице нашего проекта по адресу https://caiyuanhao1998.github.io/project/DiffusionGS/ представлены видео и интерактивные результаты генерации.

English

Existing feed-forward image-to-3D methods mainly rely on 2D multi-view diffusion models that cannot guarantee 3D consistency. These methods easily collapse when changing the prompt view direction and mainly handle object-centric prompt images. In this paper, we propose a novel single-stage 3D diffusion model, DiffusionGS, for object and scene generation from a single view. DiffusionGS directly outputs 3D Gaussian point clouds at each timestep to enforce view consistency and allow the model to generate robustly given prompt views of any directions, beyond object-centric inputs. Plus, to improve the capability and generalization ability of DiffusionGS, we scale up 3D training data by developing a scene-object mixed training strategy. Experiments show that our method enjoys better generation quality (2.20 dB higher in PSNR and 23.25 lower in FID) and over 5x faster speed (~6s on an A100 GPU) than SOTA methods. The user study and text-to-3D applications also reveals the practical values of our method. Our Project page at https://caiyuanhao1998.github.io/project/DiffusionGS/ shows the video and interactive generation results.