Un Approccio di Diffusione al Rilievo del Campo di Radiazione utilizzando la Sintesi Multi-Illuminazione

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Autori: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Abstract

I campi di radianza per il rilumino sono gravemente sottodeterminati per i dati multi-view, che vengono per lo più catturati in una singola condizione di illuminazione; è particolarmente difficile per scene complete contenenti molteplici oggetti. Introduciamo un metodo per creare campi di radianza rilumino utilizzando tali dati a illuminazione singola sfruttando le conoscenze a priori estratte dai modelli di diffusione delle immagini 2D. Prima tarochiamo un modello di diffusione 2D su un dataset multi-illuminazione condizionato dalla direzione della luce, consentendoci di ampliare una cattura a illuminazione singola in un dataset multi-illuminazione realistico - ma possibilmente inconsistente - da direzioni di luce definite direttamente. Utilizziamo questi dati ampliati per creare un campo di radianza rilumino rappresentato da schizzi gaussiani 3D. Per consentire il controllo diretto della direzione della luce per l'illuminazione a bassa frequenza, rappresentiamo l'aspetto con un perceptron a strati multipli parametrizzato sulla direzione della luce. Per garantire la coerenza multi-view e superare le inesattezze ottimizziamo un vettore di caratteristiche ausiliarie per immagine. Mostriamo i risultati su dati multi-view sintetici e reali sotto illuminazione singola, dimostrando che il nostro metodo sfrutta con successo le conoscenze a priori del modello di diffusione 2D per consentire un rilumino 3D realistico per scene complete. Sito del progetto https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/