再照明可能なガウス符号化アバター

要旨

リライティングの忠実度は、ジオメトリと外観表現の両方によって制限されています。ジオメトリに関しては、メッシュとボリュームトリックの両アプローチとも、3Dヘアジオメトリのような複雑な構造をモデル化するのが困難です。外観に関しては、既存のリライティングモデルは忠実度が限られており、高解像度の連続環境でのリアルタイムレンダリングにはしばしば遅すぎます。本研究では、Relightable Gaussian Codec Avatarsを提案します。これは、高忠実度でリライト可能な頭部アバターを構築し、新しい表情を生成するためにアニメーション化できる手法です。3Dガウシアンに基づくジオメトリモデルは、動的な顔シーケンスにおける髪の毛や毛穴などの3D整合性のあるサブミリメートル詳細を捉えることができます。人間の頭部の目、肌、髪などの多様な材質を統一的な方法でサポートするために、学習可能な放射伝達に基づく新しいリライト可能な外観モデルを提案します。拡散成分のためのグローバルイルミネーション対応の球面調和関数と共に、球面ガウシアンを使用して空間的全周波数反射を伴うリアルタイムリライティングを実現します。この外観モデルは、点光源と連続照明の両方で効率的にリライトできます。さらに、リライト可能な明示的な目モデルを導入することで、目の反射の忠実度を向上させ、明示的な視線制御を可能にします。本手法は、リアルタイム性能を損なうことなく既存のアプローチを上回ります。また、テザードされたコンシューマーVRヘッドセット上でのアバターのリアルタイムリライティングを実証し、本アバターの効率性と忠実度を示します。

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.