RenderFormer: Нейронный рендеринг треугольных сеток на основе трансформеров с учетом глобального освещения

RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination

May 28, 2025

Авторы: Chong Zeng, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Аннотация

Мы представляем RenderFormer — нейронный конвейер рендеринга, который напрямую генерирует изображение из треугольного представления сцены с полными эффектами глобального освещения и не требует обучения или тонкой настройки для каждой конкретной сцены. Вместо физически-ориентированного подхода к рендерингу мы формулируем его как преобразование последовательности в последовательность, где последовательность токенов, представляющих треугольники с свойствами отражения, преобразуется в последовательность выходных токенов, представляющих небольшие участки пикселей. RenderFormer работает в два этапа: независимый от вида этап, который моделирует перенос света между треугольниками, и зависимый от вида этап, который преобразует токен, представляющий пучок лучей, в соответствующие значения пикселей, руководствуясь последовательностью треугольников из независимого этапа. Оба этапа основаны на архитектуре трансформера и обучаются с минимальными априорными ограничениями. Мы демонстрируем и оцениваем RenderFormer на сценах с различной сложностью формы и переноса света.

English

We present RenderFormer, a neural rendering pipeline that directly renders an image from a triangle-based representation of a scene with full global illumination effects and that does not require per-scene training or fine-tuning. Instead of taking a physics-centric approach to rendering, we formulate rendering as a sequence-to-sequence transformation where a sequence of tokens representing triangles with reflectance properties is converted to a sequence of output tokens representing small patches of pixels. RenderFormer follows a two stage pipeline: a view-independent stage that models triangle-to-triangle light transport, and a view-dependent stage that transforms a token representing a bundle of rays to the corresponding pixel values guided by the triangle-sequence from the view-independent stage. Both stages are based on the transformer architecture and are learned with minimal prior constraints. We demonstrate and evaluate RenderFormer on scenes with varying complexity in shape and light transport.