DiET-GS: Устранение размытия движения в 3D-гауссовом сплайтинге с использованием диффузионного априори и потоков событий

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Авторы: Seungjun Lee, Gim Hee Lee

cs.AI

Аннотация

Восстановление четких 3D-представлений из размытых многовидовых изображений является давней проблемой в компьютерном зрении. Современные работы пытаются улучшить синтез высококачественных новых видов из размытия движения, используя камеры на основе событий, которые обладают высоким динамическим диапазоном и микросекундным временным разрешением. Однако они часто достигают субоптимального визуального качества, либо восстанавливая неточные цвета, либо теряя мелкие детали. В данной статье мы представляем DiET-GS — метод устранения размытия движения в 3DGS с использованием диффузионного априори и потока событий. Наш подход эффективно использует как поток событий без размытия, так и диффузионный априори в двухэтапной стратегии обучения. В частности, мы вводим новую структуру для ограничения 3DGS с помощью двойного интеграла событий, что позволяет достичь как точного цвета, так и четких деталей. Кроме того, мы предлагаем простую технику для использования диффузионного априори с целью дальнейшего улучшения деталей краев. Качественные и количественные результаты на синтетических и реальных данных демонстрируют, что наш DiET-GS способен создавать значительно более качественные новые виды по сравнению с существующими базовыми методами. Страница проекта доступна по адресу: https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io