트리 구조 기반 쉐이딩 분해

초록

우리는 단일 이미지에서 물체의 쉐이딩을 위한 트리 구조 표현을 추론하는 방법을 연구합니다. 기존 연구에서는 일반적으로 매개변수화된 표현이나 측정된 표현을 사용하여 쉐이딩을 모델링했는데, 이는 해석하기 어렵고 쉽게 편집할 수 없는 한계가 있었습니다. 우리는 기본 쉐이딩 노드와 합성 방법을 결합하여 물체 표면의 쉐이딩을 분해하는 쉐이드 트리 표현을 제안합니다. 이 쉐이드 트리 표현은 물리적 쉐이딩 과정에 익숙하지 않은 초보 사용자도 효율적이고 직관적인 방식으로 물체 쉐이딩을 편집할 수 있게 합니다. 쉐이드 트리를 추론하는 주요 과제는 이 추론 문제가 이산적인 트리 구조와 트리 노드의 연속적인 매개변수를 모두 포함한다는 점입니다. 우리는 이 문제를 해결하기 위해 하이브리드 접근 방식을 제안합니다. 자동회귀 추론 모델을 도입하여 트리 구조와 노드 매개변수의 대략적인 추정치를 생성한 다음, 최적화 알고리즘을 통해 추론된 쉐이드 트리를 미세 조정합니다. 우리는 합성 이미지, 캡처된 반사율, 실제 이미지, 비사실적 벡터 드로잉에 대한 실험을 보여주며, 이를 통해 재질 편집, 벡터화된 쉐이딩, 재조명과 같은 다운스트림 애플리케이션을 가능하게 합니다. 프로젝트 웹사이트: https://chen-geng.com/inv-shade-trees

English

We study inferring a tree-structured representation from a single image for object shading. Prior work typically uses the parametric or measured representation to model shading, which is neither interpretable nor easily editable. We propose using the shade tree representation, which combines basic shading nodes and compositing methods to factorize object surface shading. The shade tree representation enables novice users who are unfamiliar with the physical shading process to edit object shading in an efficient and intuitive manner. A main challenge in inferring the shade tree is that the inference problem involves both the discrete tree structure and the continuous parameters of the tree nodes. We propose a hybrid approach to address this issue. We introduce an auto-regressive inference model to generate a rough estimation of the tree structure and node parameters, and then we fine-tune the inferred shade tree through an optimization algorithm. We show experiments on synthetic images, captured reflectance, real images, and non-realistic vector drawings, allowing downstream applications such as material editing, vectorized shading, and relighting. Project website: https://chen-geng.com/inv-shade-trees

트리 구조 기반 쉐이딩 분해

Tree-Structured Shading Decomposition

초록

Support