Диффузионный подход к переосвещению поля радиационной яркости с использованием синтеза множественного освещения

A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

September 13, 2024

Авторы: Yohan Poirier-Ginter, Alban Gauthier, Julien Phillip, Jean-Francois Lalonde, George Drettakis

cs.AI

Аннотация

Переосвещение радиационных полей является серьезной проблемой для многозрительных данных из-за недостаточной информации, особенно в случае снимков, полученных в единственных условиях освещения; это особенно сложно для полных сцен, содержащих несколько объектов. Мы представляем метод создания переосвещаемых радиационных полей с использованием таких данных с единственным источником освещения путем использования априорных знаний, извлеченных из моделей диффузии 2D изображений. Сначала мы настраиваем модель диффузии 2D на наборе данных с множеством источников освещения, условием является направление света, что позволяет нам расширить снимок с единственным источником освещения до реалистичного - но возможно несогласованного - набора данных с множеством источников света, определенных непосредственно. Мы используем этот расширенный набор данных для создания переосвещаемого радиационного поля, представленного трехмерными гауссовыми каплями. Для прямого контроля направления света для низкочастотного освещения мы представляем внешний вид с помощью многослойного персептрона, параметризованного по направлению света. Для обеспечения согласованности многозрительных данных и преодоления неточностей мы оптимизируем вектор вспомогательных признаков для каждого изображения. Мы демонстрируем результаты на синтетических и реальных многозрительных данных с единственным источником освещения, показывая, что наш метод успешно использует априорные знания модели диффузии 2D для реалистичного трехмерного переосвещения для полных сцен. Сайт проекта: https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

English

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic -- but possibly inconsistent -- multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/