Une approche de diffusion pour le reéclairage du champ de radiance en utilisant la synthèse multi-illumination

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Auteurs: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Résumé

Les champs de luminance de relighting sont sévèrement sous-contraints pour les données multi-vues, qui sont le plus souvent capturées sous une seule condition d'éclairage ; C'est particulièrement difficile pour les scènes complètes contenant de multiples objets. Nous introduisons une méthode pour créer des champs de luminance de relighting utilisables à partir de ces données à éclairage unique en exploitant des connaissances a priori extraites de modèles de diffusion d'images 2D. Nous affinons d'abord un modèle de diffusion 2D sur un ensemble de données multi-éclairages conditionné par la direction de la lumière, ce qui nous permet de transformer une capture à éclairage unique en un ensemble de données à éclairages multiples réaliste - mais potentiellement incohérent - à partir de directions de lumière définies directement. Nous utilisons ces données augmentées pour créer un champ de luminance de relighting représenté par des éclats gaussiens 3D. Pour permettre un contrôle direct de la direction de la lumière pour l'éclairage basse fréquence, nous représentons l'apparence avec un perceptron multicouche paramétré sur la direction de la lumière. Pour garantir la cohérence multi-vues et surmonter les inexactitudes, nous optimisons un vecteur de caractéristiques auxiliaires par image. Nous présentons des résultats sur des données multi-vues synthétiques et réelles sous un éclairage unique, démontrant que notre méthode exploite avec succès les connaissances a priori du modèle de diffusion 2D pour permettre un relighting 3D réaliste pour des scènes complètes. Site du projet https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/