ツリー構造シェーディング分解

要旨

物体のシェーディングを単一画像から推論し、ツリー構造表現を構築する手法を研究する。従来の研究では、シェーディングをモデル化するためにパラメトリックまたは計測された表現が一般的に使用されてきたが、これらは解釈が難く、編集も容易ではなかった。本研究では、基本的なシェーディングノードと合成方法を組み合わせて物体表面のシェーディングを分解するシェードツリー表現を提案する。シェードツリー表現により、物理的なシェーディングプロセスに不慣れな初心者ユーザーでも、効率的かつ直感的に物体のシェーディングを編集できるようになる。シェードツリーを推論する際の主な課題は、推論問題が離散的なツリー構造とツリーノードの連続パラメータの両方を含むことである。この問題に対処するため、ハイブリッドアプローチを提案する。まず、自己回帰型推論モデルを導入してツリー構造とノードパラメータの大まかな推定を生成し、その後、最適化アルゴリズムを通じて推論されたシェードツリーを微調整する。合成画像、キャプチャされた反射率、実画像、および非写実的なベクタードローイングを用いた実験を行い、マテリアル編集、ベクトル化されたシェーディング、リライティングなどの下流アプリケーションの可能性を示す。プロジェクトウェブサイト: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

ツリー構造シェーディング分解

Tree-Structured Shading Decomposition

要旨

Support