Neural Gaffer : Rééclairage de n'importe quel objet via la diffusion

Neural Gaffer: Relighting Any Object via Diffusion

June 11, 2024

Auteurs: Haian Jin, Yuan Li, Fujun Luan, Yuanbo Xiangli, Sai Bi, Kai Zhang, Zexiang Xu, Jin Sun, Noah Snavely

cs.AI

Résumé

La relocalisation d'éclairage à partir d'une seule image est une tâche complexe qui nécessite de raisonner sur l'interaction complexe entre la géométrie, les matériaux et l'éclairage. De nombreuses méthodes antérieures se limitent à des catégories spécifiques d'images, comme les portraits, ou nécessitent des conditions de capture particulières, comme l'utilisation d'une lampe torche. D'autres méthodes décomposent explicitement une scène en composants intrinsèques, tels que les normales et les BRDF, ce qui peut s'avérer imprécis ou insuffisamment expressif. Dans ce travail, nous proposons un nouveau modèle de diffusion 2D de relocalisation d'éclairage de bout en bout, appelé Neural Gaffer, qui prend une seule image de n'importe quel objet et peut synthétiser une image relocalisée précise et de haute qualité sous n'importe quelle nouvelle condition d'éclairage environnemental, simplement en conditionnant un générateur d'images sur une carte d'environnement cible, sans décomposition explicite de la scène. Notre méthode s'appuie sur un modèle de diffusion pré-entraîné, et l'affine sur un ensemble de données synthétiques de relocalisation d'éclairage, révélant et exploitant la compréhension inhérente de l'éclairage présente dans le modèle de diffusion. Nous évaluons notre modèle à la fois sur des images synthétiques et sur des images réelles provenant d'Internet, et démontrons ses avantages en termes de généralisation et de précision. De plus, en combinant avec d'autres méthodes génératives, notre modèle permet de nombreuses tâches 2D en aval, comme la relocalisation d'éclairage basée sur du texte et l'insertion d'objets. Notre modèle peut également fonctionner comme un fort a priori de relocalisation d'éclairage pour des tâches 3D, comme la relocalisation d'un champ de radiance.

English

Single-image relighting is a challenging task that involves reasoning about the complex interplay between geometry, materials, and lighting. Many prior methods either support only specific categories of images, such as portraits, or require special capture conditions, like using a flashlight. Alternatively, some methods explicitly decompose a scene into intrinsic components, such as normals and BRDFs, which can be inaccurate or under-expressive. In this work, we propose a novel end-to-end 2D relighting diffusion model, called Neural Gaffer, that takes a single image of any object and can synthesize an accurate, high-quality relit image under any novel environmental lighting condition, simply by conditioning an image generator on a target environment map, without an explicit scene decomposition. Our method builds on a pre-trained diffusion model, and fine-tunes it on a synthetic relighting dataset, revealing and harnessing the inherent understanding of lighting present in the diffusion model. We evaluate our model on both synthetic and in-the-wild Internet imagery and demonstrate its advantages in terms of generalization and accuracy. Moreover, by combining with other generative methods, our model enables many downstream 2D tasks, such as text-based relighting and object insertion. Our model can also operate as a strong relighting prior for 3D tasks, such as relighting a radiance field.