Neuronaler Gaffer: Neubeleuchtung eines beliebigen Objekts durch Diffusion

Neural Gaffer: Relighting Any Object via Diffusion

June 11, 2024

Autoren: Haian Jin, Yuan Li, Fujun Luan, Yuanbo Xiangli, Sai Bi, Kai Zhang, Zexiang Xu, Jin Sun, Noah Snavely

cs.AI

Zusammenfassung

Die Neubeleuchtung eines Einzelbildes ist eine anspruchsvolle Aufgabe, die das Nachdenken über das komplexe Zusammenspiel von Geometrie, Materialien und Beleuchtung erfordert. Viele frühere Methoden unterstützen entweder nur bestimmte Kategorien von Bildern, wie Porträts, oder erfordern spezielle Aufnahmebedingungen, wie die Verwendung eines Blitzlichts. Alternativ zerlegen einige Methoden eine Szene explizit in intrinsische Komponenten wie Normalen und BRDFs, die ungenau oder nicht ausdrucksstark sein können. In dieser Arbeit schlagen wir ein neuartiges end-to-end 2D-Neubeleuchtungs-Diffusionsmodell namens Neural Gaffer vor, das ein einzelnes Bild eines beliebigen Objekts verwendet und ein genaues, qualitativ hochwertiges neubeleuchtetes Bild unter beliebigen neuen Umgebungsbeleuchtungsbedingungen synthetisieren kann, indem ein Bildgenerator an einer Zielumgebungskarte konditioniert wird, ohne eine explizite Szenenzerlegung. Unsere Methode baut auf einem vorab trainierten Diffusionsmodell auf und feinabgestimmt es an einem synthetischen Neubeleuchtungsdatensatz, um das inhärente Verständnis der Beleuchtung im Diffusionsmodell aufzudecken und zu nutzen. Wir bewerten unser Modell sowohl an synthetischen als auch an Internetbildern in freier Wildbahn und zeigen seine Vorteile in Bezug auf Verallgemeinerung und Genauigkeit. Darüber hinaus ermöglicht unser Modell in Kombination mit anderen generativen Methoden viele nachgelagerte 2D-Aufgaben wie textbasierte Neubeleuchtung und Objekteinfügung. Unser Modell kann auch als starke Neubeleuchtungsvoraussetzung für 3D-Aufgaben fungieren, wie die Neubeleuchtung eines Strahlungsfeldes.

English

Single-image relighting is a challenging task that involves reasoning about the complex interplay between geometry, materials, and lighting. Many prior methods either support only specific categories of images, such as portraits, or require special capture conditions, like using a flashlight. Alternatively, some methods explicitly decompose a scene into intrinsic components, such as normals and BRDFs, which can be inaccurate or under-expressive. In this work, we propose a novel end-to-end 2D relighting diffusion model, called Neural Gaffer, that takes a single image of any object and can synthesize an accurate, high-quality relit image under any novel environmental lighting condition, simply by conditioning an image generator on a target environment map, without an explicit scene decomposition. Our method builds on a pre-trained diffusion model, and fine-tunes it on a synthetic relighting dataset, revealing and harnessing the inherent understanding of lighting present in the diffusion model. We evaluate our model on both synthetic and in-the-wild Internet imagery and demonstrate its advantages in terms of generalization and accuracy. Moreover, by combining with other generative methods, our model enables many downstream 2D tasks, such as text-based relighting and object insertion. Our model can also operate as a strong relighting prior for 3D tasks, such as relighting a radiance field.