Décomposition de l'ombrage en structure arborescente

Résumé

Nous étudions l'inférence d'une représentation arborescente à partir d'une seule image pour l'ombrage des objets. Les travaux antérieurs utilisent généralement une représentation paramétrique ou mesurée pour modéliser l'ombrage, ce qui n'est ni interprétable ni facilement modifiable. Nous proposons d'utiliser la représentation par arbre d'ombrage, qui combine des nœuds d'ombrage de base et des méthodes de composition pour factoriser l'ombrage de la surface des objets. Cette représentation permet aux utilisateurs novices, peu familiers avec le processus physique d'ombrage, de modifier l'ombrage des objets de manière efficace et intuitive. Un défi majeur dans l'inférence de l'arbre d'ombrage est que le problème d'inférence implique à la fois la structure discrète de l'arbre et les paramètres continus des nœuds de l'arbre. Nous proposons une approche hybride pour résoudre ce problème. Nous introduisons un modèle d'inférence auto-régressif pour générer une estimation approximative de la structure de l'arbre et des paramètres des nœuds, puis nous affinons l'arbre d'ombrage inféré grâce à un algorithme d'optimisation. Nous présentons des expériences sur des images synthétiques, des réflectances capturées, des images réelles et des dessins vectoriels non réalistes, permettant des applications en aval telles que l'édition de matériaux, l'ombrage vectorisé et le rééclairage. Site web du projet : https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

Décomposition de l'ombrage en structure arborescente

Tree-Structured Shading Decomposition

Résumé

Support