Neural Gaffer: Reiluminación de cualquier objeto mediante difusión
Neural Gaffer: Relighting Any Object via Diffusion
June 11, 2024
Autores: Haian Jin, Yuan Li, Fujun Luan, Yuanbo Xiangli, Sai Bi, Kai Zhang, Zexiang Xu, Jin Sun, Noah Snavely
cs.AI
Resumen
La reiluminación de una sola imagen es una tarea desafiante que implica razonar sobre la compleja interacción entre la geometría, los materiales y la iluminación. Muchos métodos anteriores solo admiten categorías específicas de imágenes, como retratos, o requieren condiciones de captura especiales, como el uso de una linterna. Alternativamente, algunos métodos descomponen explícitamente una escena en componentes intrínsecos, como normales y BRDFs, lo que puede ser inexacto o poco expresivo. En este trabajo, proponemos un novedoso modelo de difusión 2D de reiluminación de extremo a extremo, llamado Neural Gaffer, que toma una sola imagen de cualquier objeto y puede sintetizar una imagen reiluminada precisa y de alta calidad bajo cualquier condición de iluminación ambiental nueva, simplemente condicionando un generador de imágenes en un mapa de entorno objetivo, sin una descomposición explícita de la escena. Nuestro método se basa en un modelo de difusión preentrenado y lo ajusta en un conjunto de datos sintéticos de reiluminación, revelando y aprovechando la comprensión inherente de la iluminación presente en el modelo de difusión. Evaluamos nuestro modelo tanto en imágenes sintéticas como en imágenes de Internet del mundo real y demostramos sus ventajas en términos de generalización y precisión. Además, al combinarse con otros métodos generativos, nuestro modelo permite muchas tareas 2D posteriores, como la reiluminación basada en texto y la inserción de objetos. Nuestro modelo también puede operar como un fuerte prior de reiluminación para tareas 3D, como la reiluminación de un campo de radiancia.
English
Single-image relighting is a challenging task that involves reasoning about
the complex interplay between geometry, materials, and lighting. Many prior
methods either support only specific categories of images, such as portraits,
or require special capture conditions, like using a flashlight. Alternatively,
some methods explicitly decompose a scene into intrinsic components, such as
normals and BRDFs, which can be inaccurate or under-expressive. In this work,
we propose a novel end-to-end 2D relighting diffusion model, called Neural
Gaffer, that takes a single image of any object and can synthesize an accurate,
high-quality relit image under any novel environmental lighting condition,
simply by conditioning an image generator on a target environment map, without
an explicit scene decomposition. Our method builds on a pre-trained diffusion
model, and fine-tunes it on a synthetic relighting dataset, revealing and
harnessing the inherent understanding of lighting present in the diffusion
model. We evaluate our model on both synthetic and in-the-wild Internet imagery
and demonstrate its advantages in terms of generalization and accuracy.
Moreover, by combining with other generative methods, our model enables many
downstream 2D tasks, such as text-based relighting and object insertion. Our
model can also operate as a strong relighting prior for 3D tasks, such as
relighting a radiance field.