CRiM-GS: Splatting Gaussiano Consciente de Movimento Rígido Contínuo a partir de Imagens Desfocadas pelo Movimento

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Autores: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Resumo

Os campos de radiância neural (NeRFs) têm recebido significativa atenção devido à sua capacidade de renderização de novas visualizações de alta qualidade, motivando pesquisas para lidar com vários casos do mundo real. Um desafio crítico é o desfoque de movimento da câmera causado pelo movimento da câmera durante o tempo de exposição, o que impede a reconstrução precisa de cenas 3D. Neste estudo, propomos o splatting gaussiano contínuo consciente do movimento rígido (CRiM-GS) para reconstruir uma cena 3D precisa a partir de imagens borradas com velocidade de renderização em tempo real. Considerando o processo real de desfoque de movimento da câmera, que consiste em padrões de movimento complexos, prevemos o movimento contínuo da câmera com base em equações diferenciais ordinárias neurais (ODEs). Especificamente, utilizamos transformações de corpos rígidos para modelar o movimento da câmera com regularização adequada, preservando a forma e o tamanho do objeto. Além disso, introduzimos uma transformação 3D deformável contínua no campo SE(3) para adaptar a transformação de corpo rígido a problemas do mundo real, garantindo um maior grau de liberdade. Ao revisitar a teoria fundamental da câmera e empregar técnicas avançadas de treinamento de redes neurais, alcançamos uma modelagem precisa de trajetórias contínuas da câmera. Realizamos experimentos extensivos, demonstrando um desempenho de ponta tanto quantitativa quanto qualitativamente em conjuntos de dados de referência.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.