LightSwitch: Многовидовое переосвещение с использованием диффузии, управляемой материалами

LightSwitch: Multi-view Relighting with Material-guided Diffusion

August 8, 2025

Авторы: Yehonathan Litman, Fernando De la Torre, Shubham Tulsiani

cs.AI

Аннотация

Современные подходы к переосвещению в 3D демонстрируют перспективность в интеграции генеративных априорных моделей для переосвещения 2D-изображений, что позволяет изменять внешний вид 3D-представления, сохраняя при этом базовую структуру. Однако генеративные априорные модели, используемые для переосвещения 2D-изображений, которые напрямую изменяют освещение на основе входного изображения, не учитывают внутренние свойства объекта, которые могут быть выведены, или не способны масштабно обрабатывать данные с нескольких точек зрения, что приводит к неоптимальному переосвещению. В данной статье мы предлагаем LightSwitch — новую тонко настроенную диффузионную структуру для переосвещения материалов, которая эффективно изменяет освещение произвольного количества входных изображений до целевого состояния освещения, учитывая подсказки из выведенных внутренних свойств. Используя подсказки из данных с нескольких точек зрения и информации о материалах вместе с масштабируемой схемой шумоподавления, наш метод последовательно и эффективно переосвещает плотные данные с нескольких точек зрения для объектов с разнообразным составом материалов. Мы показываем, что качество предсказания переосвещения в 2D превосходит предыдущие передовые априорные модели, которые напрямую изменяют освещение на основе изображений. Кроме того, мы демонстрируем, что LightSwitch соответствует или превосходит современные методы диффузионного обратного рендеринга в переосвещении синтетических и реальных объектов всего за 2 минуты.

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.