CRiM-GS: Continueel Rigide Bewegingsbewuste Gaussische Splatting vanuit Bewegingsonscherpe Beelden

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Auteurs: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Samenvatting

Neurale stralingsvelden (NeRFs) hebben aanzienlijke aandacht gekregen vanwege hun vermogen om hoogwaardige nieuwe weergaven te renderen, wat onderzoek heeft gestimuleerd om verschillende real-world scenario's aan te pakken. Een kritieke uitdaging is de bewegingsonscherpte van de camera veroorzaakt door camerabeweging tijdens de belichtingstijd, wat een nauwkeurige 3D-scène-reconstructie verhindert. In deze studie stellen we continue rigide beweging-gevoelig gaussisch splatting (CRiM-GS) voor om nauwkeurige 3D-scènes te reconstrueren uit onscherpe afbeeldingen met real-time renderingsnelheid. Gezien het werkelijke proces van camerabewegingsonscherpte, dat bestaat uit complexe bewegingspatronen, voorspellen we de continue beweging van de camera op basis van neurale gewone differentiaalvergelijkingen (ODEs). Specifiek maken we gebruik van rigide lichaams transformaties om de camerabeweging te modelleren met de juiste regularisatie, waardoor de vorm en grootte van het object behouden blijven. Bovendien introduceren we een continue vervormbare 3D-transformatie in het SE(3)-veld om de rigide lichaams transformatie aan te passen aan real-world problemen door een hogere mate van vrijheid te garanderen. Door fundamentele cameratheorie opnieuw te bekijken en geavanceerde technieken voor het trainen van neurale netwerken toe te passen, bereiken we een nauwkeurige modellering van continue cameratrajecten. We voeren uitgebreide experimenten uit, waarbij we state-of-the-art prestaties aantonen, zowel kwantitatief als kwalitatief, op benchmark datasets.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.