MaterialFusion: Het verbeteren van inverse rendering met materiaalverspreiding Priors

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Auteurs: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Samenvatting

Recente werken in inverse rendering hebben belofte getoond in het gebruik van multi-view afbeeldingen van een object om vorm, albedo en materialen te herstellen. Echter, de herstelde componenten falen vaak om nauwkeurig te renderen onder nieuwe verlichtingsomstandigheden vanwege de intrinsieke uitdaging van het ontrafelen van albedo en materiaaleigenschappen uit invoerafbeeldingen. Om deze uitdaging aan te pakken, introduceren we MaterialFusion, een verbeterde conventionele 3D inverse rendering pijplijn die een 2D prior hanteert op textuur en materiaaleigenschappen. We presenteren StableMaterial, een 2D diffusie model prior die multi-verlichtingsdata verfijnt om de meest waarschijnlijke albedo en materiaal te schatten op basis van de gegeven invoer verschijningen. Dit model is getraind op albedo, materiaal en opnieuw belichte afbeeldingsdata afgeleid van een samengestelde dataset van ongeveer ~12K door kunstenaars ontworpen synthetische Blender objecten genaamd BlenderVault. We nemen deze diffusie prior op in een inverse rendering kader waar we score distillatie sampling (SDS) gebruiken om de optimalisatie van de albedo en materialen te begeleiden, wat de belichtingsprestaties verbetert in vergelijking met eerdere werken. We valideren de belichtingsprestaties van MaterialFusion op 4 datasets van synthetische en echte objecten onder diverse verlichtingsomstandigheden, waarbij ons diffusie-ondersteunde benadering significant de verschijning van gereconstrueerde objecten onder nieuwe verlichtingsomstandigheden verbetert. We zijn van plan om onze BlenderVault dataset openbaar vrij te geven ter ondersteuning van verder onderzoek op dit gebied.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.