GaussianCube: Структурирование Гауссовского сглаживания с использованием оптимальной транспортной задачи для 3D генеративного моделирования

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Авторы: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Аннотация

3D Гауссово сплетение (GS) достигло значительного улучшения по сравнению с нейронными радиантными полями в плане точности подгонки в 3D и скорости визуализации. Однако данное неструктурированное представление с разбросанными гауссовыми функциями представляет существенное препятствие для генеративного моделирования. Для решения этой проблемы мы представляем GaussianCube, структурированное представление GS, которое является мощным и эффективным для генеративного моделирования. Мы достигаем этого, предложив модифицированный алгоритм подгонки GS с ограничением на плотность, который может обеспечить высококачественные результаты подгонки с использованием фиксированного числа свободных гауссовых функций, а затем переупорядочивая гауссовы функции в заранее определенную воксельную сетку с помощью оптимальной транспортировки. Структурированное сеточное представление позволяет нам использовать стандартную 3D U-Net в качестве основы в генеративном моделировании диффузии без сложных конструкций. Обширные эксперименты, проведенные на ShapeNet и OmniObject3D, показывают, что наша модель достигает передовых результатов как качественно, так и количественно, подчеркивая потенциал GaussianCube как мощного и универсального 3D представления.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.