포괄적 재조명: 일반화 가능하고 일관된 단안 인간 재조명 및 조화화

Comprehensive Relighting: Generalizable and Consistent Monocular Human Relighting and Harmonization

April 3, 2025

저자: Junying Wang, Jingyuan Liu, Xin Sun, Krishna Kumar Singh, Zhixin Shu, He Zhang, Jimei Yang, Nanxuan Zhao, Tuanfeng Y. Wang, Simon S. Chen, Ulrich Neumann, Jae Shin Yoon

cs.AI

초록

본 논문은 인간의 신체 부위가 포함된 이미지나 비디오의 조명을 제어하고 조화시킬 수 있는 최초의 올인원 접근법인 Comprehensive Relighting을 소개합니다. 이러한 일반화 가능한 모델을 구축하는 것은 데이터셋의 부족으로 인해 매우 어려운 과제이며, 이로 인해 기존의 이미지 기반 재조명 모델들은 특정 시나리오(예: 얼굴 또는 정적인 인간)에 국한되어 있었습니다. 이러한 문제를 해결하기 위해, 우리는 사전 훈련된 확산 모델을 일반 이미지 사전 지식으로 재활용하고, 인간 재조명과 배경 조화를 coarse-to-fine 프레임워크에서 공동으로 모델링합니다. 재조명의 시간적 일관성을 더욱 향상시키기 위해, 우리는 실제 비디오에서 조명 주기 일관성을 학습하는 비지도 시간적 조명 모델을 도입합니다. 추론 단계에서, 우리의 시간적 조명 모듈은 추가 훈련 없이 시공간적 특징 혼합 알고리즘을 통해 확산 모델과 결합되며, 입력 이미지의 고주파 세부 정보를 보존하기 위한 새로운 가이드된 정제를 후처리로 적용합니다. 실험에서 Comprehensive Relighting은 강력한 일반화 능력과 조명의 시간적 일관성을 보여주며, 기존의 이미지 기반 인간 재조명 및 조화 방법들을 능가하는 성능을 보여줍니다.

English

This paper introduces Comprehensive Relighting, the first all-in-one approach that can both control and harmonize the lighting from an image or video of humans with arbitrary body parts from any scene. Building such a generalizable model is extremely challenging due to the lack of dataset, restricting existing image-based relighting models to a specific scenario (e.g., face or static human). To address this challenge, we repurpose a pre-trained diffusion model as a general image prior and jointly model the human relighting and background harmonization in the coarse-to-fine framework. To further enhance the temporal coherence of the relighting, we introduce an unsupervised temporal lighting model that learns the lighting cycle consistency from many real-world videos without any ground truth. In inference time, our temporal lighting module is combined with the diffusion models through the spatio-temporal feature blending algorithms without extra training; and we apply a new guided refinement as a post-processing to preserve the high-frequency details from the input image. In the experiments, Comprehensive Relighting shows a strong generalizability and lighting temporal coherence, outperforming existing image-based human relighting and harmonization methods.