CRiM-GS: Непрерывное жесткое движение-осведомленное гауссово сглаживание изображений с движением.

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images

July 4, 2024

Авторы: Junghe Lee, Donghyeong Kim, Dogyoon Lee, Suhwan Cho, Sangyoun Lee

cs.AI

Аннотация

Нейронные поля радиантности (NeRF) получили значительное внимание благодаря их способности к высококачественной генерации нового изображения, что побудило исследования по решению различных реальных задач. Одной из критических проблем является размытие изображения из-за движения камеры во время экспозиции, что мешает точной реконструкции трехмерной сцены. В данном исследовании мы предлагаем метод непрерывного учета жесткого движения с использованием гауссовского сплайн-аппроксимации (CRiM-GS) для восстановления точной трехмерной сцены из размытых изображений с возможностью реального времени рендеринга. Учитывая сложные шаблоны движения камеры, мы предсказываем непрерывное движение камеры на основе нейронных обыкновенных дифференциальных уравнений (ODE). Конкретно, мы используем жесткие телодвижения для моделирования движения камеры с соответствующей регуляризацией, сохраняя форму и размер объекта. Кроме того, мы вводим непрерывное деформируемое трехмерное преобразование в поле SE(3) для адаптации жесткого телодвижения к реальным проблемам, обеспечивая большую степень свободы. Путем пересмотра основных теорий камеры и использования передовых методов обучения нейронных сетей мы добиваемся точного моделирования непрерывных траекторий камеры. Мы проводим обширные эксперименты, демонстрируя современные результаты как количественно, так и качественно на стандартных наборах данных.

English

Neural radiance fields (NeRFs) have received significant attention due to their high-quality novel view rendering ability, prompting research to address various real-world cases. One critical challenge is the camera motion blur caused by camera movement during exposure time, which prevents accurate 3D scene reconstruction. In this study, we propose continuous rigid motion-aware gaussian splatting (CRiM-GS) to reconstruct accurate 3D scene from blurry images with real-time rendering speed. Considering the actual camera motion blurring process, which consists of complex motion patterns, we predict the continuous movement of the camera based on neural ordinary differential equations (ODEs). Specifically, we leverage rigid body transformations to model the camera motion with proper regularization, preserving the shape and size of the object. Furthermore, we introduce a continuous deformable 3D transformation in the SE(3) field to adapt the rigid body transformation to real-world problems by ensuring a higher degree of freedom. By revisiting fundamental camera theory and employing advanced neural network training techniques, we achieve accurate modeling of continuous camera trajectories. We conduct extensive experiments, demonstrating state-of-the-art performance both quantitatively and qualitatively on benchmark datasets.