MaterialFusion: Mejorando la Renderización Inversa con Difusión de Material Priors

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Autores: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Resumen

Trabajos recientes en renderizado inverso han demostrado promesa en el uso de imágenes multi-vista de un objeto para recuperar forma, albedo y materiales. Sin embargo, los componentes recuperados a menudo no se renderizan con precisión bajo nuevas condiciones de iluminación debido al desafío intrínseco de desentrañar las propiedades de albedo y material de las imágenes de entrada. Para abordar este desafío, presentamos MaterialFusion, una tubería de renderizado inverso 3D convencional mejorada que incorpora un prior 2D en textura y propiedades de material. Presentamos StableMaterial, un modelo de difusión 2D previo que perfecciona datos multi-iluminados para estimar el albedo y material más probable a partir de las apariencias de entrada dadas. Este modelo se entrena en datos de albedo, material e imágenes reiluminadas derivadas de un conjunto de datos curado de aproximadamente ~12K objetos sintéticos diseñados por artistas llamado BlenderVault. Incorporamos este prior de difusión con un marco de renderizado inverso donde utilizamos muestreo de destilación de puntuación (SDS) para guiar la optimización del albedo y los materiales, mejorando el rendimiento de reiluminación en comparación con trabajos anteriores. Validamos el rendimiento de reiluminación de MaterialFusion en 4 conjuntos de datos de objetos sintéticos y reales bajo diversas condiciones de iluminación, mostrando que nuestro enfoque asistido por difusión mejora significativamente la apariencia de los objetos reconstruidos bajo condiciones de iluminación novedosas. Tenemos la intención de lanzar públicamente nuestro conjunto de datos BlenderVault para apoyar futuras investigaciones en este campo.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.