MaterialFusion: Potenziare il Rendering Inverso con Diffusione dei Materiali Priors

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Autori: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Abstract

Lavori recenti in rendering inverso hanno mostrato promesse nell'utilizzo di immagini multi-vista di un oggetto per recuperare forma, albedo e materiali. Tuttavia, i componenti ripristinati spesso non riescono a renderizzare accuratamente sotto nuove condizioni di illuminazione a causa della sfida intrinseca nel separare le proprietà di albedo e materiali dalle immagini in ingresso. Per affrontare questa sfida, introduciamo MaterialFusion, un migliorato pipeline convenzionale di rendering inverso 3D che incorpora un precedente 2D sulla texture e le proprietà dei materiali. Presentiamo StableMaterial, un modello di diffusione 2D precedente che affina i dati multi-illuminati per stimare l'albedo e il materiale più probabili dalle apparenze in ingresso. Questo modello è addestrato su dati di albedo, materiale e immagini rilucide derivati da un dataset curato di circa ~12K oggetti sintetici progettati da artisti chiamato BlenderVault. Incorporiamo questo precedente di diffusione con un framework di rendering inverso in cui utilizziamo il campionamento di distillazione del punteggio (SDS) per guidare l'ottimizzazione dell'albedo e dei materiali, migliorando le prestazioni di rilucita rispetto ai lavori precedenti. Convalidiamo le prestazioni di rilucita di MaterialFusion su 4 dataset di oggetti sintetici e reali in condizioni di illuminazione diverse, mostrando che il nostro approccio assistito dalla diffusione migliora significativamente l'aspetto degli oggetti ricostruiti sotto nuove condizioni di illuminazione. Intendiamo rilasciare pubblicamente il nostro dataset BlenderVault per supportare ulteriori ricerche in questo campo.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.