Descomposición de Sombreado en Estructura de Árbol

Resumen

Estudiamos la inferencia de una representación en forma de árbol a partir de una sola imagen para la sombra de objetos. Trabajos previos suelen utilizar representaciones paramétricas o medidas para modelar la sombra, las cuales no son interpretables ni fácilmente editables. Proponemos utilizar la representación de árbol de sombras, que combina nodos básicos de sombreado y métodos de composición para factorizar la sombra de la superficie del objeto. La representación de árbol de sombras permite a usuarios novatos, no familiarizados con el proceso físico de sombreado, editar la sombra de objetos de manera eficiente e intuitiva. Un desafío principal en la inferencia del árbol de sombras es que el problema de inferencia involucra tanto la estructura discreta del árbol como los parámetros continuos de los nodos. Proponemos un enfoque híbrido para abordar este problema. Introducimos un modelo de inferencia autorregresivo para generar una estimación aproximada de la estructura del árbol y los parámetros de los nodos, y luego afinamos el árbol de sombras inferido mediante un algoritmo de optimización. Mostramos experimentos en imágenes sintéticas, reflectancia capturada, imágenes reales y dibujos vectoriales no realistas, permitiendo aplicaciones posteriores como edición de materiales, sombreado vectorizado y reiluminación. Sitio web del proyecto: https://chen-geng.com/inv-shade-trees.

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

Descomposición de Sombreado en Estructura de Árbol

Tree-Structured Shading Decomposition

Resumen

Support