MatSpray: Интеграция знаний о двумерных материалах в трёхмерную геометрию

MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

December 20, 2025

Авторы: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch

cs.AI

Аннотация

Ручное моделирование материальных параметров и 3D-геометрии является трудоемкой, но необходимой задачей в игровой и киноиндустрии. Хотя последние достижения в области 3D-реконструкции позволили получить точные приближения геометрии и внешнего вида сцены, эти методы часто оказываются несостоятельными в сценариях переосвещения из-за отсутствия точных, пространственно варьирующихся материальных параметров. В то же время диффузионные модели, работающие с 2D-изображениями, продемонстрировали высокую производительность в прогнозировании параметров, основанных на физическом рендеринге (PBR), таких как альбедо, шероховатость и металличность. Однако перенос этих 2D-карт материалов на реконструированную 3D-геометрию остается серьезной проблемой. Мы предлагаем фреймворк для объединения 2D-данных о материалах с 3D-геометрией с использованием комбинации новых подходов на основе машинного обучения и проекционных методов. Мы начинаем с реконструкции геометрии сцены с помощью гауссовского сплайнинга. На основе входных изображений диффузионная модель генерирует 2D-карты для параметров альбедо, шероховатости и металличности. Может быть применена любая существующая диффузионная модель, способная преобразовывать изображения или видео в PBR-материалы. Предсказания далее интегрируются в 3D-представление либо путем оптимизации loss-функции на основе изображений, либо путем прямой проекции материальных параметров на гауссовы функции с использованием гауссовского трассирования лучей. Для повышения точности в мелком масштабе и согласованности между видами мы дополнительно вводим этап легковесной нейросетевой доработки (Neural Merger), который принимает в качестве входных данных трассированные лучами материальные характеристики и производит детальные корректировки. Наши результаты демонстрируют, что предложенные методы превосходят существующие техники как по количественным метрикам, так и по воспринимаемому визуальному реализму. Это позволяет получать более точные, переосвещаемые и фотореалистичные рендеры из реконструированных сцен, значительно повышая реализм и эффективность рабочих процессов создания ассетов в конвейерах производства контента.

English

Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.