Un Enfoque de Difusión para el Reiluminado del Campo de Radiación utilizando Síntesis de Multiiluminación

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Autores: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Resumen

La reiluminación de campos de luminancia es severamente subdeterminada para datos de múltiples vistas, los cuales son capturados más a menudo bajo una sola condición de iluminación; resulta especialmente difícil para escenas completas que contienen múltiples objetos. Introducimos un método para crear campos de luminancia reiluminables utilizando tales datos de una sola iluminación, explotando precondiciones extraídas de modelos de difusión de imágenes 2D. En primer lugar, ajustamos un modelo de difusión 2D en un conjunto de datos de múltiple iluminación condicionado por la dirección de la luz, lo que nos permite aumentar una captura de una sola iluminación en un conjunto de datos de múltiple iluminación realista, pero posiblemente inconsistente, desde direcciones de luz definidas directamente. Utilizamos estos datos aumentados para crear un campo de luminancia reiluminable representado por salpicaduras gaussianas 3D. Para permitir el control directo de la dirección de la luz para la iluminación de baja frecuencia, representamos la apariencia con un perceptrón multicapa parametrizado en la dirección de la luz. Para hacer cumplir la consistencia de múltiples vistas y superar las imprecisiones, optimizamos un vector de características auxiliares por imagen. Mostramos resultados en datos sintéticos y reales de múltiples vistas bajo iluminación única, demostrando que nuestro método aprovecha con éxito las precondiciones del modelo de difusión 2D para permitir una reiluminación 3D realista para escenas completas. Sitio del proyecto: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/