FDGaussian: Быстрое гауссовское нанесение изображения через модель диффузии, учитывающую геометрию

FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model

March 15, 2024

Авторы: Qijun Feng, Zhen Xing, Zuxuan Wu, Yu-Gang Jiang

cs.AI

Аннотация

Восстановление детальных 3D объектов из изображений с одного ракурса остается сложной задачей из-за ограниченной доступной информации. В данной статье мы представляем FDGaussian, новую двухэтапную структуру для восстановления 3D по одному изображению. Недавние методы обычно используют предварительно обученные 2D модели диффузии для генерации правдоподобных новых видов из входного изображения, однако они сталкиваются с проблемами либо несоответствиями между видами, либо отсутствием геометрической точности. Для преодоления этих препятствий мы предлагаем механизм ортогонального разложения плоскости для извлечения 3D геометрических особенностей из 2D входа, что позволяет генерировать согласованные мультивидовые изображения. Более того, мы дополнительно ускоряем передовую технологию Gaussian Splatting, включая эпиполярное внимание для слияния изображений с разных точек зрения. Мы демонстрируем, что FDGaussian генерирует изображения с высокой согласованностью между различными видами и восстанавливает качественные 3D объекты как качественно, так и количественно. Больше примеров можно найти на нашем веб-сайте https://qjfeng.net/FDGaussian/.

English

Reconstructing detailed 3D objects from single-view images remains a challenging task due to the limited information available. In this paper, we introduce FDGaussian, a novel two-stage framework for single-image 3D reconstruction. Recent methods typically utilize pre-trained 2D diffusion models to generate plausible novel views from the input image, yet they encounter issues with either multi-view inconsistency or lack of geometric fidelity. To overcome these challenges, we propose an orthogonal plane decomposition mechanism to extract 3D geometric features from the 2D input, enabling the generation of consistent multi-view images. Moreover, we further accelerate the state-of-the-art Gaussian Splatting incorporating epipolar attention to fuse images from different viewpoints. We demonstrate that FDGaussian generates images with high consistency across different views and reconstructs high-quality 3D objects, both qualitatively and quantitatively. More examples can be found at our website https://qjfeng.net/FDGaussian/.