MaterialFusion: Melhorando a Renderização Inversa com Difusão de Material Priors

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Autores: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Resumo

Trabalhos recentes em renderização inversa têm mostrado promessa no uso de imagens multi-visão de um objeto para recuperar forma, albedo e materiais. No entanto, os componentes recuperados frequentemente falham em renderizar com precisão sob novas condições de iluminação devido ao desafio intrínseco de desembaraçar as propriedades de albedo e material das imagens de entrada. Para enfrentar esse desafio, introduzimos o MaterialFusion, um aprimorado pipeline convencional de renderização inversa 3D que incorpora uma priori 2D sobre textura e propriedades de material. Apresentamos o StableMaterial, um modelo de difusão 2D que aprimora dados multi-iluminados para estimar o albedo e material mais prováveis a partir das aparências de entrada fornecidas. Este modelo é treinado em dados de albedo, material e imagens relit derivadas de um conjunto de dados curado de aproximadamente ~12K objetos sintéticos projetados por artistas chamado BlenderVault. Incorporamos esta priori de difusão em um framework de renderização inversa onde usamos amostragem de destilação de pontuação (SDS) para guiar a otimização do albedo e materiais, melhorando o desempenho de relighting em comparação com trabalhos anteriores. Validamos o desempenho de relighting do MaterialFusion em 4 conjuntos de dados de objetos sintéticos e reais sob diversas condições de iluminação, mostrando que nossa abordagem auxiliada por difusão melhora significativamente a aparência dos objetos reconstruídos sob novas condições de iluminação. Pretendemos disponibilizar publicamente nosso conjunto de dados BlenderVault para apoiar pesquisas adicionais nesse campo.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.