CRiM-GS: Splatting Gaussiano con Consapevolezza del Movimento Rigido Continuo da Immagini con Mosso

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Autori: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Abstract

I campi di radianza neurale (NeRF) hanno ricevuto un'attenzione significativa grazie alla loro capacità di rendering di nuove viste di alta qualità, stimolando la ricerca per affrontare vari casi del mondo reale. Una sfida critica è rappresentata dalla sfocatura del movimento della fotocamera causata dallo spostamento della fotocamera durante il tempo di esposizione, che impedisce una ricostruzione accurata della scena 3D. In questo studio, proponiamo lo splatting gaussiano continuo consapevole del movimento rigido (CRiM-GS) per ricostruire scene 3D accurate da immagini sfocate con una velocità di rendering in tempo reale. Considerando il processo effettivo di sfocatura del movimento della fotocamera, che consiste in modelli di movimento complessi, prevediamo il movimento continuo della fotocamera basandoci su equazioni differenziali ordinarie neurali (ODE). Nello specifico, utilizziamo trasformazioni di corpo rigido per modellare il movimento della fotocamera con una regolarizzazione appropriata, preservando la forma e le dimensioni dell'oggetto. Inoltre, introduciamo una trasformazione 3D deformabile continua nel campo SE(3) per adattare la trasformazione di corpo rigido ai problemi del mondo reale, garantendo un grado di libertà più elevato. Rivedendo la teoria fondamentale della fotocamera e impiegando tecniche avanzate di addestramento delle reti neurali, otteniamo una modellazione accurata delle traiettorie continue della fotocamera. Condividiamo esperimenti estesi, dimostrando prestazioni all'avanguardia sia quantitativamente che qualitativamente su dataset di benchmark.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.