StyleSplat: ガウススプラッティングを用いた3Dオブジェクトのスタイル転送

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

著者: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

要旨

最近のラディアンスフィールドの進展により、高品質な3Dアセットやシーンを作成する新たな道が開かれました。スタイル転写は、これらの3Dアセットに多様な芸術的スタイルを適用し、創造的な表現を変革することができます。しかし、既存の技術はしばしば遅く、特定のオブジェクトにスタイル転写を局所化することができません。本論文では、3Dガウシアンで表現されたシーン内の3Dオブジェクトを参照スタイル画像からスタイライズする軽量な手法であるStyleSplatを紹介します。私たちのアプローチでは、まず3Dガウシアンスプラッティングを使用してシーンのフォトリアルな表現を学習し、同時に個々の3Dオブジェクトをセグメンテーションします。その後、最近傍特徴マッチング損失を使用して選択されたオブジェクトのガウシアンを微調整し、その球面調和係数をスタイル画像と整合させ、一貫性と視覚的魅力を確保します。StyleSplatは、シーン内の複数のオブジェクトに対して迅速でカスタマイズ可能なスタイル転写と局所的なスタイライズを可能にし、それぞれ異なるスタイルを適用できます。私たちは、様々な3Dシーンとスタイルにわたるその有効性を実証し、3D作成における制御とカスタマイズの強化を示します。

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.