Decomposizione Strutturata ad Albero dell'Ombreggiatura

Tree-Structured Shading Decomposition

September 13, 2023

Autori: Chen Geng, Hong-Xing Yu, Sharon Zhang, Maneesh Agrawala, Jiajun Wu

cs.AI

Abstract

Studiamo l'inferenza di una rappresentazione ad albero da una singola immagine per l'ombreggiatura degli oggetti. I lavori precedenti utilizzano tipicamente rappresentazioni parametriche o misurate per modellare l'ombreggiatura, che non sono né interpretabili né facilmente modificabili. Proponiamo di utilizzare la rappresentazione ad albero dell'ombreggiatura (shade tree), che combina nodi di ombreggiatura di base e metodi di composizione per fattorizzare l'ombreggiatura della superficie degli oggetti. La rappresentazione ad albero dell'ombreggiatura consente agli utenti principianti, non familiari con il processo fisico di ombreggiatura, di modificare l'ombreggiatura degli oggetti in modo efficiente e intuitivo. Una delle principali sfide nell'inferire l'albero dell'ombreggiatura è che il problema di inferenza coinvolge sia la struttura discreta dell'albero che i parametri continui dei nodi dell'albero. Proponiamo un approccio ibrido per affrontare questo problema. Introduciamo un modello di inferenza auto-regressivo per generare una stima approssimativa della struttura dell'albero e dei parametri dei nodi, e successivamente ottimizziamo l'albero dell'ombreggiatura inferito attraverso un algoritmo di ottimizzazione. Mostriamo esperimenti su immagini sintetiche, riflettanze acquisite, immagini reali e disegni vettoriali non realistici, consentendo applicazioni downstream come la modifica dei materiali, l'ombreggiatura vettoriale e il reilluminamento. Sito web del progetto: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees