DyBluRF: Динамическое устранение размытия в нейронных полях излучения для размытых монохромных видео

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

Авторы: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

Аннотация

Синтез видеоизображений, позволяющий создавать визуально привлекательные кадры с произвольных точек обзора и моментов времени, обеспечивает захватывающие впечатления от просмотра. Нейронные поля излучения, в частности NeRF, изначально разработанные для статичных сцен, стимулировали создание различных методов для синтеза видеоизображений. Однако сложность синтеза видеоизображений заключается в размытии движения, возникающем из-за перемещения объектов или камеры во время экспозиции, что затрудняет точное создание четких пространственно-временных видов. В ответ на это мы предлагаем новую динамическую структуру NeRF для устранения размытия в монохромных видео, называемую DyBluRF, которая состоит из этапа уточнения лучей с чередованием (Interleave Ray Refinement, IRR) и этапа устранения размытия на основе декомпозиции движения (Motion Decomposition-based Deblurring, MDD). Наш DyBluRF является первым решением, которое решает и обрабатывает синтез новых видов для размытых монохромных видео. Этап IRR совместно восстанавливает динамические 3D-сцены и уточняет неточную информацию о положении камеры для борьбы с неточностями, извлеченными из заданных размытых кадров. Этап MDD представляет собой новый инкрементальный подход к предсказанию скрытых четких лучей (Incremental Latent Sharp-rays Prediction, ILSP) для размытых монохромных видеокадров путем декомпозиции скрытых четких лучей на компоненты глобального движения камеры и локального движения объектов. Обширные экспериментальные результаты демонстрируют, что наш DyBluRF превосходит качественно и количественно самые современные методы. Наша страница проекта, включающая исходные коды и предварительно обученную модель, доступна по адресу https://kaist-viclab.github.io/dyblurf-site/.

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.