MaterialFusion: Verbesserung der inversen Darstellung durch Materialdiffusion Prioritäten

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Autoren: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Zusammenfassung

Aktuelle Arbeiten im Bereich der inversen Darstellung haben gezeigt, dass die Verwendung von Multi-View-Bildern eines Objekts vielversprechend ist, um Form, Albedo und Materialien wiederherzustellen. Die wiederhergestellten Komponenten rendern jedoch oft nicht genau unter neuen Beleuchtungsbedingungen, aufgrund der inhärenten Herausforderung, Albedo- und Materialeigenschaften aus Eingabebildern zu trennen. Um dieser Herausforderung zu begegnen, stellen wir MaterialFusion vor, eine verbesserte konventionelle 3D-Inversrendering-Pipeline, die eine 2D-Prior auf Textur- und Materialeigenschaften integriert. Wir präsentieren StableMaterial, ein 2D-Diffusionsmodell, das Multi-Lit-Daten verfeinert, um die wahrscheinlichste Albedo und Materialien aus den gegebenen Erscheinungen zu schätzen. Dieses Modell wird auf Albedo-, Material- und neu beleuchteten Bilddaten trainiert, die aus einem kuratierten Datensatz von etwa ~12K künstlerisch gestalteten synthetischen Blender-Objekten namens BlenderVault abgeleitet sind. Wir integrieren diese Diffusionspriorität in ein inverses Rendering-Framework, in dem wir Score-Distillation-Sampling (SDS) verwenden, um die Optimierung der Albedo und Materialien zu lenken und die Beleuchtungsleistung im Vergleich zu früheren Arbeiten zu verbessern. Wir validieren die Beleuchtungsleistung von MaterialFusion an 4 Datensätzen synthetischer und realer Objekte unter verschiedenen Beleuchtungsbedingungen und zeigen, dass unser diffusionsgestützter Ansatz das Erscheinungsbild rekonstruierter Objekte unter neuen Beleuchtungsbedingungen signifikant verbessert. Wir beabsichtigen, unseren BlenderVault-Datensatz öffentlich freizugeben, um weitere Forschungen auf diesem Gebiet zu unterstützen.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.