Древовидная декомпозиция затенения

Tree-Structured Shading Decomposition

September 13, 2023

Авторы: Chen Geng, Hong-Xing Yu, Sharon Zhang, Maneesh Agrawala, Jiajun Wu

cs.AI

Аннотация

Мы исследуем задачу вывода древовидного представления из одного изображения для моделирования затенения объектов. Предыдущие работы обычно используют параметрическое или измеренное представление для моделирования затенения, которое не является ни интерпретируемым, ни легко редактируемым. Мы предлагаем использовать представление в виде дерева затенения, которое объединяет базовые узлы затенения и методы композиции для факторизации затенения поверхности объекта. Такое представление позволяет начинающим пользователям, не знакомым с физическим процессом затенения, редактировать затенение объектов эффективным и интуитивно понятным способом. Основная сложность при выводе дерева затенения заключается в том, что задача вывода включает как дискретную структуру дерева, так и непрерывные параметры узлов. Мы предлагаем гибридный подход для решения этой проблемы. Мы вводим авторегрессионную модель вывода для генерации грубой оценки структуры дерева и параметров узлов, а затем уточняем выведенное дерево затенения с помощью алгоритма оптимизации. Мы проводим эксперименты на синтетических изображениях, захваченных данных об отражательной способности, реальных изображениях и нереалистичных векторных рисунках, что позволяет использовать результаты в таких приложениях, как редактирование материалов, векторизация затенения и переосвещение. Сайт проекта: https://chen-geng.com/inv-shade-trees.

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees