Decomposição Hierárquica de Sombreamento em Árvore

Tree-Structured Shading Decomposition

September 13, 2023

Autores: Chen Geng, Hong-Xing Yu, Sharon Zhang, Maneesh Agrawala, Jiajun Wu

cs.AI

Resumo

Nós estudamos a inferência de uma representação em estrutura de árvore a partir de uma única imagem para a sombreamento de objetos. Trabalhos anteriores geralmente utilizam representações paramétricas ou medidas para modelar o sombreamento, que não são interpretáveis nem facilmente editáveis. Propomos o uso da representação em árvore de sombreamento, que combina nós básicos de sombreamento e métodos de composição para fatorizar o sombreamento da superfície do objeto. A representação em árvore de sombreamento permite que usuários iniciantes, que não estão familiarizados com o processo físico de sombreamento, editem o sombreamento de objetos de maneira eficiente e intuitiva. Um dos principais desafios na inferência da árvore de sombreamento é que o problema de inferência envolve tanto a estrutura discreta da árvore quanto os parâmetros contínuos dos nós da árvore. Propomos uma abordagem híbrida para resolver essa questão. Introduzimos um modelo de inferência auto-regressivo para gerar uma estimativa aproximada da estrutura da árvore e dos parâmetros dos nós, e então refinamos a árvore de sombreamento inferida por meio de um algoritmo de otimização. Realizamos experimentos em imagens sintéticas, reflectância capturada, imagens reais e desenhos vetoriais não realistas, permitindo aplicações subsequentes como edição de materiais, sombreamento vetorizado e reiluminação. Site do projeto: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees