ExtraNeRF: 확산 모델을 활용한 가시성 인식 뉴럴 래디언스 필드의 시점 외삽

초록

우리는 Neural Radiance Field(NeRF)가 처리할 수 있는 시야 범위를 외삽하는 새로운 방법인 ExtraNeRF를 제안합니다. 우리의 주요 아이디어는 NeRF를 활용하여 장면별 세밀한 디테일을 모델링하는 동시에, 확산 모델을 활용하여 관측된 데이터를 넘어서는 외삽을 수행하는 것입니다. 핵심 요소는 가시성을 추적하여 장면의 어떤 부분이 관찰되지 않았는지 확인하고, 확산 모델과 일관되게 해당 영역을 재구성하는 데 초점을 맞추는 것입니다. 우리의 주요 기여는 입력 이미지에 맞춰 미세 조정된 가시성 인식 확산 기반 인페인팅 모듈로, 이는 중간 품질(종종 흐릿한)의 인페인팅된 영역을 가진 초기 NeRF를 생성합니다. 그 후, 입력 이미지에 대해 훈련된 두 번째 확산 모델이 첫 번째 패스에서 인페인팅된 이미지를 일관되게 개선하고, 특히 선명하게 만듭니다. 우리는 소수의 입력 시야(일반적으로 6개 이하)를 넘어서는 고품질의 결과를 보여주며, NeRF를 효과적으로 아웃페인팅하고 원래 시야 범위 내에서 새롭게 가려진 영역을 인페인팅합니다. 관련 연구와의 정량적 및 정성적 비교를 통해 기존 기술 대비 상당한 개선을 입증합니다.

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.

ExtraNeRF: 확산 모델을 활용한 가시성 인식 뉴럴 래디언스 필드의 시점 외삽

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

초록

Support