ガウシアン・フロスティング：リアルタイムレンダリング可能な編集可能な複素放射輝度フィールド

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

著者: Antoine Guédon, Vincent Lepetit

cs.AI

要旨

本論文では、複雑な3D効果を高品質にレンダリングおよび編集するための新しいメッシュベース表現である「Gaussian Frosting」を提案します。本手法は、最近の3D Gaussian Splattingフレームワークを基盤としており、画像から放射場を近似するために3Dガウシアンの集合を最適化します。我々は、最適化中にガウシアンからベースメッシュを抽出し、その周囲に可変厚さの適応型ガウシアン層を構築・精緻化することで、表面近くの細かいディテールや体積効果（髪や草など）をより良く捉えることを提案します。この層を「Gaussian Frosting」と呼びます。これは、ケーキの上にかけられたフロスティングに似ています。素材がふわふわしているほど、フロスティングの厚みが増します。また、ガウシアンをパラメータ化して、フロスティング層内に留まるようにし、メッシュの変形、スケーリング、編集、アニメーション時に自動的にパラメータを調整する方法も導入します。本表現は、ガウシアンスプラッティングを用いた効率的なレンダリングを可能にし、ベースメッシュを変更することで編集やアニメーションも行えます。様々な合成シーンと実シーンにおいて本手法の有効性を実証し、既存のサーフェスベース手法を凌駕することを示します。コードとウェブベースビューアを追加貢献として公開します。プロジェクトページは以下です: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/