Baumstrukturierte Schattenzerlegung

Zusammenfassung

Wir untersuchen die Inferenz einer baumstrukturierten Darstellung aus einem einzelnen Bild für die Objektschattierung. Bisherige Arbeiten verwenden typischerweise parametrische oder gemessene Darstellungen, um Schattierungen zu modellieren, die weder interpretierbar noch einfach bearbeitbar sind. Wir schlagen die Verwendung der Schattierungsbaum-Darstellung vor, die grundlegende Schattierungsknoten und Kompositionsmethoden kombiniert, um die Schattierung der Objektoberfläche zu faktorisieren. Die Schattierungsbaum-Darstellung ermöglicht es unerfahrenen Benutzern, die mit dem physikalischen Schattierungsprozess nicht vertraut sind, die Objektschattierung auf effiziente und intuitive Weise zu bearbeiten. Eine Hauptherausforderung bei der Inferenz des Schattierungsbaums besteht darin, dass das Inferenzproblem sowohl die diskrete Baumstruktur als auch die kontinuierlichen Parameter der Baumknoten umfasst. Wir schlagen einen hybriden Ansatz vor, um dieses Problem zu lösen. Wir führen ein autoregressives Inferenzmodell ein, um eine grobe Schätzung der Baumstruktur und der Knotenparameter zu generieren, und verfeinern dann den inferierten Schattierungsbaum durch einen Optimierungsalgorithmus. Wir zeigen Experimente an synthetischen Bildern, erfassten Reflexionen, realen Bildern und nicht-realistischen Vektorgrafiken, die Downstream-Anwendungen wie Materialbearbeitung, vektorisierte Schattierung und Neubeleuchtung ermöglichen. Projektwebsite: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

Baumstrukturierte Schattenzerlegung

Tree-Structured Shading Decomposition

Zusammenfassung

Support