HyperFields: 텍스트로부터 NeRF의 제로샷 생성을 위한 접근

초록

본 논문에서는 텍스트 조건부 신경 방사 필드(Neural Radiance Fields, NeRFs)를 단일 순방향 전달과 (선택적으로) 일부 미세 조정을 통해 생성하는 방법인 HyperFields를 소개한다. 우리의 접근법의 핵심은 다음과 같다: (i) 텍스트 토큰 임베딩에서 NeRFs 공간으로의 매끄러운 매핑을 학습하는 동적 하이퍼네트워크; (ii) 개별 NeRFs에 인코딩된 장면들을 하나의 동적 하이퍼네트워크로 증류하는 NeRF 증류 학습. 이러한 기술들은 단일 네트워크가 수백 개의 고유한 장면에 적합하도록 한다. 또한, HyperFields가 텍스트와 NeRFs 사이의 보다 일반적인 매핑을 학습함으로써, 분포 내 및 분포 외의 새로운 장면을 제로샷 또는 몇 번의 미세 조정 단계를 통해 예측할 수 있음을 보여준다. 학습된 일반 매핑 덕분에 HyperFields의 미세 조정은 가속화된 수렴을 이점으로 가지며, 기존의 신경 최적화 기반 방법보다 5~10배 빠르게 새로운 장면을 합성할 수 있다. 우리의 제거 실험은 동적 아키텍처와 NeRF 증류가 HyperFields의 표현력에 있어 모두 중요함을 보여준다.

English

We introduce HyperFields, a method for generating text-conditioned Neural Radiance Fields (NeRFs) with a single forward pass and (optionally) some fine-tuning. Key to our approach are: (i) a dynamic hypernetwork, which learns a smooth mapping from text token embeddings to the space of NeRFs; (ii) NeRF distillation training, which distills scenes encoded in individual NeRFs into one dynamic hypernetwork. These techniques enable a single network to fit over a hundred unique scenes. We further demonstrate that HyperFields learns a more general map between text and NeRFs, and consequently is capable of predicting novel in-distribution and out-of-distribution scenes -- either zero-shot or with a few finetuning steps. Finetuning HyperFields benefits from accelerated convergence thanks to the learned general map, and is capable of synthesizing novel scenes 5 to 10 times faster than existing neural optimization-based methods. Our ablation experiments show that both the dynamic architecture and NeRF distillation are critical to the expressivity of HyperFields.

HyperFields: 텍스트로부터 NeRF의 제로샷 생성을 위한 접근

HyperFields: Towards Zero-Shot Generation of NeRFs from Text

초록

Support