Uma Abordagem de Difusão para Reiluminação de Campo de Radiância usando Síntese de Multi-iluminação

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Autores: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Resumo

A reconstrução de campos de radiância para iluminação é severamente subdeterminada para dados de múltiplas vistas, os quais são frequentemente capturados sob uma única condição de iluminação; é especialmente desafiador para cenas completas contendo múltiplos objetos. Apresentamos um método para criar campos de radiância reluzentes utilizando tais dados de iluminação única, explorando priors extraídos de modelos de difusão de imagens 2D. Inicialmente, ajustamos um modelo de difusão 2D em um conjunto de dados de múltiplas iluminações condicionado pela direção da luz, permitindo-nos aumentar uma captura de iluminação única em um conjunto de dados de múltiplas iluminações realista - porém possivelmente inconsistente - a partir de direções de luz diretamente definidas. Utilizamos esses dados aumentados para criar um campo de radiância reluzente representado por splats Gaussianos 3D. Para permitir o controle direto da direção da luz para iluminação de baixa frequência, representamos a aparência com um perceptron de múltiplas camadas parametrizado na direção da luz. Para garantir a consistência de múltiplas vistas e superar imprecisões, otimizamos um vetor de características auxiliares por imagem. Apresentamos resultados em dados sintéticos e reais de múltiplas vistas sob iluminação única, demonstrando que nosso método aproveita com sucesso os priors do modelo de difusão 2D para permitir uma iluminação 3D realista para cenas completas. Site do projeto: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/