AGG: Амортизированные генеративные 3D-гауссовы распределения для преобразования одного изображения в 3D

AGG: Amortized Generative 3D Gaussians for Single Image to 3D

January 8, 2024

Авторы: Dejia Xu, Ye Yuan, Morteza Mardani, Sifei Liu, Jiaming Song, Zhangyang Wang, Arash Vahdat

cs.AI

Аннотация

Учитывая растущую потребность в автоматизированных конвейерах создания 3D-контента, различные 3D-представления были изучены для генерации 3D-объектов из одного изображения. Благодаря своей превосходной эффективности рендеринга, модели на основе 3D-гауссовых сплатов (3D Gaussian splatting) недавно показали выдающиеся результаты как в 3D-реконструкции, так и в генерации. Подходы, использующие 3D-гауссовы сплаты для генерации 3D из изображения, часто основаны на оптимизации, требующей множества вычислительно затратных шагов дистилляции оценок. Чтобы преодолеть эти трудности, мы представляем амортизированный генеративный фреймворк 3D-гауссовых сплатов (AGG), который мгновенно создает 3D-гауссовы сплаты из одного изображения, устраняя необходимость оптимизации для каждого отдельного экземпляра. Используя промежуточное гибридное представление, AGG разделяет генерацию местоположений 3D-гауссовых сплатов и других атрибутов внешнего вида для совместной оптимизации. Кроме того, мы предлагаем каскадный конвейер, который сначала генерирует грубое представление 3D-данных, а затем повышает его детализацию с помощью модуля супер-разрешения на основе 3D-гауссовых сплатов. Наш метод сравнивается с существующими оптимизационными фреймворками на основе 3D-гауссовых сплатов и конвейерами, использующими другие 3D-представления, где AGG демонстрирует конкурентоспособные способности генерации как качественно, так и количественно, при этом работая на несколько порядков быстрее. Страница проекта: https://ir1d.github.io/AGG/

English

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/