MaterialFusion: Улучшение обратного воспроизведения с диффузией материала. Приоритеты

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

Авторы: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

Аннотация

Недавние работы в обратной графике показали перспективу использования многовидовых изображений объекта для восстановления формы, альбедо и материалов. Однако восстановленные компоненты часто недостоверно визуализируются под новыми условиями освещения из-за внутренней сложности разделения альбедо и свойств материалов из входных изображений. Для решения этой проблемы мы представляем MaterialFusion, улучшенный традиционный конвейер обратной графики в 3D, который включает 2D априорное знание текстуры и свойств материалов. Мы представляем StableMaterial, 2D модель диффузии, которая уточняет многократные данные освещения для оценки наиболее вероятного альбедо и материалов из имеющихся входных появлений. Эта модель обучена на данных альбедо, материалов и переосвещенных изображений, полученных из отобранного набора данных, состоящего приблизительно из ~12K синтетических объектов Blender, созданных художниками и названных BlenderVault. Мы интегрируем это диффузионное априорное знание с обратной графикой, где мы используем выборочное дистиллирование оценок (SDS) для направления оптимизации альбедо и материалов, улучшая производительность переосвещения по сравнению с предыдущими работами. Мы проверяем производительность переосвещения MaterialFusion на 4 наборах данных синтетических и реальных объектов под различными условиями освещения, показывая, что наш подход с диффузией значительно улучшает внешний вид восстановленных объектов под новыми условиями освещения. Мы намерены публично опубликовать наш набор данных BlenderVault для поддержки дальнейших исследований в этой области.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.