DyBluRF: ぼやけた単眼動画のための動的デブラリングニューラルラジアンスフィールド

DyBluRF: Dynamic Deblurring Neural Radiance Fields for Blurry Monocular Video

December 21, 2023

著者: Minh-Quan Viet Bui, Jongmin Park, Jihyong Oh, Munchurl Kim

cs.AI

要旨

ビデオビュー合成は、任意の視点と時間から視覚的に魅力的なフレームを作成することで、没入型の視聴体験を提供します。特にNeRFとして知られるニューラルラジアンスフィールドは、当初は静的なシーン向けに開発されましたが、ビデオビュー合成のための様々な手法の創出を促しました。しかし、ビデオビュー合成における課題は、露光中の物体やカメラの動きに起因するモーションブラーであり、これが鮮明な時空間的ビューの正確な合成を妨げます。これに対応して、我々は、ぼやけた単眼ビデオ向けの新しい動的デブラーリングNeRFフレームワーク、DyBluRFを提案します。DyBluRFは、Interleave Ray Refinement (IRR) ステージとMotion Decomposition-based Deblurring (MDD) ステージで構成されています。我々のDyBluRFは、ぼやけた単眼ビデオのための新規ビュー合成に初めて取り組み、これを処理します。IRRステージでは、動的な3Dシーンを再構築するとともに、与えられたぼやけたフレームから抽出された不正確なカメラポーズ情報に対抗するために、カメラポーズ情報を精緻化します。MDDステージは、ぼやけた単眼ビデオフレーム向けの新しい増分的潜在シャープレイ予測（ILSP）アプローチであり、潜在的なシャープレイをグローバルなカメラモーションとローカルな物体モーションの成分に分解します。広範な実験結果により、我々のDyBluRFが、質的および量的に最新の最先端手法を凌駕することが実証されています。ソースコードと事前学習済みモデルを含むプロジェクトページは、https://kaist-viclab.github.io/dyblurf-site/ で公開されています。

English

Video view synthesis, allowing for the creation of visually appealing frames from arbitrary viewpoints and times, offers immersive viewing experiences. Neural radiance fields, particularly NeRF, initially developed for static scenes, have spurred the creation of various methods for video view synthesis. However, the challenge for video view synthesis arises from motion blur, a consequence of object or camera movement during exposure, which hinders the precise synthesis of sharp spatio-temporal views. In response, we propose a novel dynamic deblurring NeRF framework for blurry monocular video, called DyBluRF, consisting of an Interleave Ray Refinement (IRR) stage and a Motion Decomposition-based Deblurring (MDD) stage. Our DyBluRF is the first that addresses and handles the novel view synthesis for blurry monocular video. The IRR stage jointly reconstructs dynamic 3D scenes and refines the inaccurate camera pose information to combat imprecise pose information extracted from the given blurry frames. The MDD stage is a novel incremental latent sharp-rays prediction (ILSP) approach for the blurry monocular video frames by decomposing the latent sharp rays into global camera motion and local object motion components. Extensive experimental results demonstrate that our DyBluRF outperforms qualitatively and quantitatively the very recent state-of-the-art methods. Our project page including source codes and pretrained model are publicly available at https://kaist-viclab.github.io/dyblurf-site/.