잠재 확산 모델을 신경 방사 필드 인페인팅에 적용하기

Taming Latent Diffusion Model for Neural Radiance Field Inpainting

April 15, 2024

저자: Chieh Hubert Lin, Changil Kim, Jia-Bin Huang, Qinbo Li, Chih-Yao Ma, Johannes Kopf, Ming-Hsuan Yang, Hung-Yu Tseng

cs.AI

초록

Neural Radiance Field(NeRF)는 다중 뷰 이미지로부터 3D 재구성을 위한 표현 방식입니다. 최근 몇몇 연구에서 확산 모델(diffusion prior)을 사용하여 재구성된 NeRF를 편집하는 데 초기 성공을 보였지만, 완전히 노출되지 않은 영역에서 합리적인 기하학적 구조를 합성하는 데는 여전히 어려움을 겪고 있습니다. 이는 주로 확산 모델에서 생성된 콘텐츠의 높은 다양성으로 인해, radiance field가 선명하고 결정론적인 기하학적 구조로 수렴하는 것을 방해하기 때문입니다. 또한, 실제 데이터에 잠재 확산 모델(latent diffusion model)을 적용할 경우, 자동 인코딩 오류로 인해 이미지 조건과 일관되지 않는 텍스처 변화가 발생하는 경우가 많습니다. 이러한 두 가지 문제는 픽셀 거리 손실(pixel-distance losses)을 사용함으로써 더욱 강화됩니다. 이러한 문제를 해결하기 위해, 우리는 장면별 맞춤화(per-scene customization)를 통해 확산 모델의 확률적 특성을 조절하고, 마스크된 적대적 학습(masked adversarial training)을 통해 텍스처 변화를 완화하는 방법을 제안합니다. 분석 과정에서, 일반적으로 사용되는 픽셀 및 지각 손실(perceptual losses)이 NeRF 인페인팅 작업에 해로운 영향을 미친다는 사실도 발견했습니다. 엄격한 실험을 통해, 우리의 프레임워크는 다양한 실제 장면에서 최첨단 NeRF 인페인팅 결과를 도출합니다. 프로젝트 페이지: https://hubert0527.github.io/MALD-NeRF

English

Neural Radiance Field (NeRF) is a representation for 3D reconstruction from multi-view images. Despite some recent work showing preliminary success in editing a reconstructed NeRF with diffusion prior, they remain struggling to synthesize reasonable geometry in completely uncovered regions. One major reason is the high diversity of synthetic contents from the diffusion model, which hinders the radiance field from converging to a crisp and deterministic geometry. Moreover, applying latent diffusion models on real data often yields a textural shift incoherent to the image condition due to auto-encoding errors. These two problems are further reinforced with the use of pixel-distance losses. To address these issues, we propose tempering the diffusion model's stochasticity with per-scene customization and mitigating the textural shift with masked adversarial training. During the analyses, we also found the commonly used pixel and perceptual losses are harmful in the NeRF inpainting task. Through rigorous experiments, our framework yields state-of-the-art NeRF inpainting results on various real-world scenes. Project page: https://hubert0527.github.io/MALD-NeRF