ICON: Инкрементальная уверенность для совместной оптимизации позы и поля излучения

ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

January 17, 2024

Авторы: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli

cs.AI

Аннотация

Нейронные поля излучения (NeRF) демонстрируют выдающиеся результаты в задаче синтеза новых видов (NVS) на основе набора 2D-изображений. Однако обучение NeRF требует точного определения положения камеры для каждого входного изображения, которое обычно получается с помощью методов восстановления структуры по движению (SfM). В последних работах предпринимались попытки ослабить это ограничение, но они всё же часто полагаются на достаточно хорошие начальные положения камеры, которые затем могут быть уточнены. В данной работе мы стремимся полностью устранить необходимость в инициализации положения камеры. Мы представляем метод Incremental CONfidence (ICON) — процедуру оптимизации для обучения NeRF на основе кадров 2D-видео. ICON предполагает лишь плавное движение камеры для оценки начального приближения положений. Кроме того, ICON вводит понятие «уверенности» — адаптивной меры качества модели, используемой для динамического перевзвешивания градиентов. ICON опирается на положения камеры с высокой уверенностью для обучения NeRF и на 3D-структуру с высокой уверенностью (кодируемую NeRF) для обучения положений камеры. Мы показываем, что ICON, без предварительной инициализации положения камеры, достигает превосходной производительности на наборах данных CO3D и HO3D по сравнению с методами, использующими положения камеры, полученные с помощью SfM.

English

Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.