CRiM-GS: Kontinuierliches starres Bewegungs-bewusstes Gauß'sches Splatting von Bewegungsunschärfebildern

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Autoren: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Zusammenfassung

Neuronale Strahlungsfelder (NeRFs) haben aufgrund ihrer Fähigkeit zur hochwertigen Darstellung neuer Ansichten erhebliche Aufmerksamkeit erhalten, was die Forschung veranlasst hat, verschiedene reale Anwendungsfälle zu behandeln. Eine entscheidende Herausforderung ist der Kamerabewegungsunschärfe, die durch die Kamerabewegung während der Belichtungszeit verursacht wird und eine genaue 3D-Szenenrekonstruktion verhindert. In dieser Studie schlagen wir kontinuierliches starres Bewegungsbewusstsein mit Gauß'schem Splatting (CRiM-GS) vor, um genaue 3D-Szenen aus unscharfen Bildern mit Echtzeit-Renderinggeschwindigkeit zu rekonstruieren. Unter Berücksichtigung des tatsächlichen Kamerabewegungsunschärfe-Prozesses, der komplexe Bewegungsmuster umfasst, sagen wir die kontinuierliche Bewegung der Kamera basierend auf neuronalen gewöhnlichen Differentialgleichungen (ODEs) vorher. Speziell nutzen wir starre Körpertransformationen, um die Kamerabewegung mit angemessener Regularisierung zu modellieren, wobei die Form und Größe des Objekts erhalten bleiben. Darüber hinaus führen wir eine kontinuierliche verformbare 3D-Transformation im SE(3)-Feld ein, um die starre Körpertransformation an reale Probleme anzupassen, indem ein höherer Freiheitsgrad sichergestellt wird. Durch die erneute Betrachtung der grundlegenden Kameratheorie und den Einsatz fortschrittlicher Schulungstechniken für neuronale Netzwerke erreichen wir eine genaue Modellierung kontinuierlicher Kameratrajektorien. Wir führen umfangreiche Experimente durch, die eine Spitzenleistung sowohl quantitativ als auch qualitativ auf Benchmark-Datensätzen zeigen.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.