К реалистичному моделированию на основе примеров с использованием 3D гауссовского соединения.

Towards Realistic Example-based Modeling via 3D Gaussian Stitching

August 28, 2024

Авторы: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

cs.AI

Аннотация

Использование частей существующих моделей для воссоздания новых моделей, обычно называемое моделированием на основе примеров, является классической методологией в области компьютерной графики. Предыдущие работы в основном сосредотачивались на композиции форм, что делает их очень сложными для использования при реалистичной композиции трехмерных объектов, захваченных из реальных сцен. Это приводит к объединению нескольких NeRF в одну трехмерную сцену для достижения плавного слияния внешнего вида. Однако текущий метод SeamlessNeRF сталкивается с трудностями в достижении интерактивного редактирования и гармоничного соединения для сцен из реального мира из-за своей стратегии на основе градиента и представления на основе сетки. В этой связи мы представляем метод моделирования на основе примеров, который объединяет несколько гауссовых полей в точечном представлении с использованием синтеза, направляемого образцами. В частности, для композиции мы создаем графический интерфейс пользователя для сегментации и трансформации нескольких полей в реальном времени, легко получая семантически значимую композицию моделей, представленных трехмерным Гауссовым сплэтингом (3DGS). Для смешивания текстур, из-за дискретной и нерегулярной природы 3DGS, прямое применение распространения градиента, как в SeamlssNeRF, не поддерживается. Таким образом, предлагается новый метод клонирования на основе выборки для гармонизации смешивания, сохраняя при этом оригинальную насыщенную текстуру и содержание. Наш рабочий процесс состоит из трех этапов: 1) сегментация и трансформация гауссовской модели в реальном времени с помощью тщательно разработанного графического интерфейса пользователя, 2) анализ KNN для идентификации граничных точек в пересекающейся области между исходной и целевой моделями, и 3) двухфазная оптимизация целевой модели с использованием клонирования на основе выборки и градиентных ограничений. Обширные экспериментальные результаты подтверждают, что наш подход значительно превосходит предыдущие работы в плане реалистичного синтеза, демонстрируя его практичность. Более подробные демонстрации доступны на https://ingra14m.github.io/gs_stitching_website.

English

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.