マルチ照明合成を用いた輝度場の再照明に対する拡散アプローチ

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

著者: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

要旨

マルチビューデータに対する再点灯放射輝度場の再構築は、ほとんどが単一の照明条件下でキャプチャされるため、極めて過制約です。特に、複数のオブジェクトを含む完全なシーンに対しては困難です。私たちは、2D画像拡散モデルから抽出された事前情報を活用して、単一の照明データを使用して再点灯可能な放射輝度場を作成する手法を紹介します。まず、光の方向によって条件付けられたマルチ照明データセットで2D拡散モデルを微調整し、直接定義された光の方向から単一の照明キャプチャをリアルながらも一貫性のないマルチ照明データセットに拡張します。この拡張されたデータを使用して、3Dガウススプラットで表現される再点灯可能な放射輝度場を作成します。低周波の照明のための光の方向の直接制御を可能にするために、外観は光の方向にパラメータ化されたマルチレイヤーパーセプトロンで表現されます。マルチビューの一貫性を強化し、不正確さを克服するために、画像ごとに補助的な特徴ベクトルを最適化します。単一の照明下での合成および実際のマルチビューデータに関する結果を示し、2D拡散モデルの事前情報を活用して完全なシーンに対するリアルな3D再点灯を可能にすることを示します。プロジェクトサイト: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/