StyleSplat: перенос стиля трехмерных объектов с помощью гауссовского сплетения

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Авторы: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Аннотация

Недавние достижения в области радиационных полей открыли новые возможности для создания высококачественных 3D-объектов и сцен. Перенос стилей может улучшить эти 3D-объекты с разнообразными художественными стилями, трансформируя творческое выражение. Однако существующие техники часто медленны или не способны локализовать перенос стилей на конкретные объекты. Мы представляем StyleSplat, легкий метод стилизации 3D-объектов в сценах, представленных 3D-гауссовыми функциями от изображений стилей-образцов. Наш подход сначала изучает фотореалистичное представление сцены с использованием 3D-гауссовского сплэттинга, одновременно сегментируя отдельные 3D-объекты. Затем мы используем потерю соответствия признаков ближайшего соседа для донастройки гауссовских функций выбранных объектов, выравнивая их коэффициенты сферических гармоник с изображением стиля для обеспечения согласованности и визуального привлекательности. StyleSplat позволяет быстро и настраиваемо выполнять перенос стилей и локализованную стилизацию нескольких объектов в сцене, каждый с собственным стилем. Мы демонстрируем его эффективность на различных 3D-сценах и стилях, показывая улучшенный контроль и настраиваемость в создании 3D.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.