CRiM-GS: モーションブラー画像からの連続剛体運動を考慮したガウススプラッティング

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

著者: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）は、高品質な新規視点レンダリング能力により注目を集めており、さまざまな実世界のケースに対応する研究が進められています。その中でも重要な課題の一つは、露光時間中のカメラ移動によって生じるモーションブラーの問題であり、これが正確な3Dシーン再構成を妨げています。本研究では、リアルタイムレンダリング速度を維持しながら、ぼやけた画像から正確な3Dシーンを再構築するための連続剛体運動認識ガウススプラッティング（CRiM-GS）を提案します。実際のカメラモーションブラー過程は複雑な運動パターンで構成されていることを考慮し、ニューラル常微分方程式（ODE）に基づいてカメラの連続的な動きを予測します。具体的には、剛体変換を活用してカメラの動きを適切な正則化とともにモデル化し、物体の形状とサイズを保持します。さらに、SE(3)フィールドにおける連続変形可能な3D変換を導入し、より高い自由度を確保することで、剛体変換を実世界の問題に適応させます。基本的なカメラ理論を再検討し、高度なニューラルネットワークトレーニング技術を採用することで、連続的なカメラ軌跡の正確なモデル化を実現します。ベンチマークデータセットにおいて、定量的および定性的に最先端の性能を示す広範な実験を行いました。

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.