CRiM-GS: Splatting Gaussiano Consciente de Movimiento Rígido Continuo en Imágenes Borrosas de Movimiento

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Autores: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Resumen

Los campos de radiación neuronal (NeRFs) han recibido una atención significativa debido a su capacidad de renderizar vistas novedosas de alta calidad, lo que ha impulsado la investigación para abordar varios casos del mundo real. Un desafío crítico es el desenfoque por movimiento de cámara causado por el movimiento de la cámara durante el tiempo de exposición, lo cual impide una reconstrucción precisa de escenas en 3D. En este estudio, proponemos el esparcimiento gaussiano continuo consciente del movimiento rígido (CRiM-GS) para reconstruir una escena en 3D precisa a partir de imágenes borrosas con velocidad de renderizado en tiempo real. Considerando el proceso de desenfoque real de movimiento de cámara, que consta de patrones de movimiento complejos, predecimos el movimiento continuo de la cámara basándonos en ecuaciones diferenciales ordinarias neuronales (ODEs). Específicamente, aprovechamos las transformaciones de cuerpo rígido para modelar el movimiento de la cámara con una regularización adecuada, preservando la forma y el tamaño del objeto. Además, introducimos una transformación 3D deformable continua en el campo SE(3) para adaptar la transformación de cuerpo rígido a problemas del mundo real asegurando un mayor grado de libertad. Al volver a examinar la teoría fundamental de la cámara y emplear técnicas avanzadas de entrenamiento de redes neuronales, logramos modelar con precisión trayectorias continuas de cámara. Realizamos experimentos extensos, demostrando un rendimiento de vanguardia tanto cuantitativa como cualitativamente en conjuntos de datos de referencia.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.