Boomstructuur Schaduwdecompositie

Samenvatting

We bestuderen het afleiden van een boomstructuurrepresentatie uit een enkele afbeelding voor objectbelichting. Eerdere werkzaamheden gebruiken typisch de parametrische of gemeten representatie om belichting te modelleren, wat noch interpreteerbaar noch gemakkelijk bewerkbaar is. Wij stellen het gebruik van de schaduwboomrepresentatie voor, die basisbelichtingsknooppunten en compositiemethoden combineert om de belichting van het objectoppervlak te factoriseren. De schaduwboomrepresentatie stelt beginnende gebruikers die niet bekend zijn met het fysieke belichtingsproces in staat om objectbelichting op een efficiënte en intuïtieve manier te bewerken. Een grote uitdaging bij het afleiden van de schaduwboom is dat het afleidingsprobleem zowel de discrete boomstructuur als de continue parameters van de boomknooppunten omvat. Wij stellen een hybride aanpak voor om dit probleem aan te pakken. We introduceren een autoregressief afleidingsmodel om een ruwe schatting van de boomstructuur en knooppuntparameters te genereren, en vervolgens verfijnen we de afgeleide schaduwboom via een optimalisatiealgoritme. We tonen experimenten op synthetische afbeeldingen, vastgelegde reflectie, echte afbeeldingen en niet-realistische vectortekeningen, wat downstreamtoepassingen mogelijk maakt zoals materiaalbewerking, gevectoriseerde belichting en herbelichting. Projectwebsite: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

Boomstructuur Schaduwdecompositie

Tree-Structured Shading Decomposition

Samenvatting

Support