MaterialFusion : Amélioration de la Rendu Inverse avec la Diffusion de Matériaux Priors

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Auteurs: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Résumé

Les travaux récents en rendu inverse ont montré des promesses dans l'utilisation d'images multi-vues d'un objet pour récupérer sa forme, son albedo et ses matériaux. Cependant, les composants récupérés échouent souvent à rendre avec précision sous de nouvelles conditions d'éclairage en raison du défi intrinsèque de démêler l'albedo et les propriétés des matériaux à partir des images d'entrée. Pour relever ce défi, nous introduisons MaterialFusion, un pipeline de rendu inverse 3D amélioré qui intègre une priorité 2D sur la texture et les propriétés des matériaux. Nous présentons StableMaterial, un modèle de diffusion 2D préalable qui affine les données multi-éclairées pour estimer l'albedo et les matériaux les plus probables à partir des apparences d'entrée données. Ce modèle est entraîné sur des données d'albedo, de matériaux et d'images re-éclairées dérivées d'un ensemble de données sélectionné d'environ ~12K objets synthétiques conçus par des artistes appelé BlenderVault. Nous incorporons cette priorité de diffusion avec un cadre de rendu inverse où nous utilisons l'échantillonnage de distillation de score (SDS) pour guider l'optimisation de l'albedo et des matériaux, améliorant les performances de re-éclairage par rapport aux travaux précédents. Nous validons les performances de re-éclairage de MaterialFusion sur 4 ensembles de données d'objets synthétiques et réels sous diverses conditions d'éclairage, montrant que notre approche assistée par diffusion améliore significativement l'apparence des objets reconstruits sous de nouvelles conditions d'éclairage. Nous avons l'intention de publier publiquement notre ensemble de données BlenderVault pour soutenir davantage la recherche dans ce domaine.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.