RRM : Actifs rééclairables utilisant l'extraction de matériaux guidée par la radiance

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Auteurs: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Résumé

La synthèse de NeRFs sous un éclairage arbitraire est devenue un problème fondamental au cours des dernières années. Les travaux récents abordent ce problème via l'extraction de paramètres physiquement plausibles qui peuvent ensuite être rendus sous un éclairage arbitraire, mais ils sont limités dans la gamme de scènes qu'ils peuvent traiter, échouant généralement sur les scènes brillantes. Nous proposons RRM, une méthode capable d'extraire les matériaux, la géométrie et l'éclairage environnemental d'une scène, même en présence d'objets hautement réfléchissants. Notre méthode repose sur une représentation de champ de radiance physiquement informée qui guide les paramètres physiquement plausibles, ainsi que sur une structure expressive d'éclairage environnemental basée sur une pyramide laplacienne. Nous démontrons que nos contributions surpassent l'état de l'art dans les tâches de récupération de paramètres, permettant une relocalisation haute fidélité et une synthèse de nouvelles vues sur des scènes surfaciques.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.