CRiM-GS : Modélisation continue par splines gaussiennes prenant en compte le mouvement rigide à partir d'images floues de mouvement

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Auteurs: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Résumé

Les champs de radiance neuronaux (NeRFs) ont suscité une attention considérable en raison de leur capacité à générer des vues nouvelles de haute qualité, stimulant ainsi la recherche pour aborder divers cas d'utilisation réels. Un défi majeur est le flou de mouvement de la caméra causé par le déplacement de celle-ci pendant le temps d'exposition, ce qui empêche une reconstruction précise de la scène 3D. Dans cette étude, nous proposons une méthode de projection gaussienne continue prenant en compte le mouvement rigide (CRiM-GS) pour reconstruire avec précision une scène 3D à partir d'images floues tout en offrant une vitesse de rendu en temps réel. En considérant le processus réel de flou de mouvement de la caméra, qui implique des motifs de mouvement complexes, nous prédisons le mouvement continu de la caméra en nous basant sur des équations différentielles ordinaires (EDO) neuronales. Plus précisément, nous utilisons des transformations de corps rigides pour modéliser le mouvement de la caméra avec une régularisation appropriée, préservant ainsi la forme et la taille de l'objet. De plus, nous introduisons une transformation 3D continue déformable dans le champ SE(3) pour adapter la transformation de corps rigide aux problèmes du monde réel en assurant un degré de liberté plus élevé. En revisitant la théorie fondamentale de la caméra et en employant des techniques avancées d'entraînement de réseaux neuronaux, nous parvenons à modéliser avec précision les trajectoires continues de la caméra. Nous menons des expériences approfondies, démontrant des performances de pointe à la fois quantitativement et qualitativement sur des ensembles de données de référence.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.