Нейронный Гаффер: Переосвещение любого объекта с помощью диффузии

Neural Gaffer: Relighting Any Object via Diffusion

June 11, 2024

Авторы: Haian Jin, Yuan Li, Fujun Luan, Yuanbo Xiangli, Sai Bi, Kai Zhang, Zexiang Xu, Jin Sun, Noah Snavely

cs.AI

Аннотация

Одновременное переосвещение изображения - это сложная задача, которая включает в себя рассуждения о сложном взаимодействии между геометрией, материалами и освещением. Многие предыдущие методы либо поддерживают только определенные категории изображений, такие как портреты, либо требуют специальных условий съемки, например, использование фонарика. В качестве альтернативы некоторые методы явно декомпозируют сцену на внутренние компоненты, такие как нормали и BRDF, что может быть неточным или недостаточно выразительным. В данной работе мы предлагаем новую модель диффузии переосвещения на основе нейронной сети, названную Neural Gaffer, которая принимает одно изображение любого объекта и может синтезировать точное, качественное изображение с измененным освещением в любых новых условиях окружающего освещения, просто путем настройки генератора изображений на целевую карту окружения, без явного разложения сцены. Наш метод основан на предварительно обученной модели диффузии и доводится до совершенства на синтетическом наборе данных по переосвещению, раскрывая и используя врожденное понимание освещения, присутствующее в модели диффузии. Мы оцениваем нашу модель как на синтетических, так и на изображениях из Интернета "на лету" и демонстрируем ее преимущества в плане обобщения и точности. Более того, путем комбинирования с другими методами генерации наша модель позволяет выполнять множество последующих 2D задач, таких как переосвещение на основе текста и вставка объектов. Наша модель также может действовать как мощный предиктор переосвещения для 3D задач, таких как переосвещение поля радиации.

English

Single-image relighting is a challenging task that involves reasoning about the complex interplay between geometry, materials, and lighting. Many prior methods either support only specific categories of images, such as portraits, or require special capture conditions, like using a flashlight. Alternatively, some methods explicitly decompose a scene into intrinsic components, such as normals and BRDFs, which can be inaccurate or under-expressive. In this work, we propose a novel end-to-end 2D relighting diffusion model, called Neural Gaffer, that takes a single image of any object and can synthesize an accurate, high-quality relit image under any novel environmental lighting condition, simply by conditioning an image generator on a target environment map, without an explicit scene decomposition. Our method builds on a pre-trained diffusion model, and fine-tunes it on a synthetic relighting dataset, revealing and harnessing the inherent understanding of lighting present in the diffusion model. We evaluate our model on both synthetic and in-the-wild Internet imagery and demonstrate its advantages in terms of generalization and accuracy. Moreover, by combining with other generative methods, our model enables many downstream 2D tasks, such as text-based relighting and object insertion. Our model can also operate as a strong relighting prior for 3D tasks, such as relighting a radiance field.