Ein Diffusionsansatz zur Beleuchtungsfeld-Neubeleuchtung unter Verwendung von Multi-Beleuchtungssynthese.

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Autoren: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Zusammenfassung

Die Neubeleuchtung von Strahlungsfeldern ist für Mehrblickdaten stark unterbestimmt, die meist unter einer einzigen Beleuchtungsbedingung erfasst werden, insbesondere für vollständige Szenen mit mehreren Objekten. Wir stellen eine Methode vor, um neubeleuchtungsfähige Strahlungsfelder unter Verwendung solcher Einzelbeleuchtungsdaten zu erstellen, indem wir Prioritäten nutzen, die aus 2D-Bild-Diffusionsmodellen extrahiert wurden. Zunächst verfeinern wir ein 2D-Diffusionsmodell auf einem Multi-Beleuchtungsdatensatz, der durch Lichtrichtung bedingt ist, was es uns ermöglicht, eine Einzelbeleuchtungsaufnahme in einen realistischen - aber möglicherweise inkonsistenten - Multi-Beleuchtungsdatensatz aus direkt definierten Lichtrichtungen zu erweitern. Wir verwenden diese erweiterten Daten, um ein neubeleuchtungsfähiges Strahlungsfeld darzustellen, das durch 3D-Gaußsche Splats repräsentiert wird. Um eine direkte Steuerung der Lichtrichtung für niederfrequente Beleuchtung zu ermöglichen, stellen wir das Erscheinungsbild mit einem mehrschichtigen Perzeptron dar, das auf die Lichtrichtung parametrisiert ist. Um die Mehrblickkonsistenz durchzusetzen und Ungenauigkeiten zu überwinden, optimieren wir einen pro-Bild-Hilfsmerkmalsvektor. Wir zeigen Ergebnisse an synthetischen und realen Mehrblickdaten unter Einzelbeleuchtung und zeigen, dass unsere Methode erfolgreich 2D-Diffusionsmodell-Prioritäten nutzt, um eine realistische 3D-Neubeleuchtung für vollständige Szenen zu ermöglichen. Projektsite: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/