DiET-GS: Desdifuminado de movimiento asistido por flujo de eventos y prior de difusión en 3D Gaussian Splatting

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Autores: Seungjun Lee, Gim Hee Lee

cs.AI

Resumen

Reconstruir representaciones 3D nítidas a partir de imágenes multivista borrosas es un problema de larga data en visión por computadora. Trabajos recientes intentan mejorar la síntesis de vistas novedosas de alta calidad a partir del desenfoque de movimiento aprovechando cámaras basadas en eventos, beneficiándose de su alto rango dinámico y resolución temporal en microsegundos. Sin embargo, a menudo alcanzan una calidad visual subóptima, ya sea restaurando colores inexactos o perdiendo detalles finos. En este artículo, presentamos DiET-GS, un enfoque de desenfoque de movimiento 3DGS asistido por flujos de eventos y un prior de difusión. Nuestro marco aprovecha eficazmente tanto los flujos de eventos libres de desenfoque como el prior de difusión en una estrategia de entrenamiento en dos etapas. Específicamente, introducimos un marco novedoso para restringir 3DGS con una doble integral de eventos, logrando tanto colores precisos como detalles bien definidos. Además, proponemos una técnica simple para aprovechar el prior de difusión y mejorar aún más los detalles de los bordes. Los resultados cualitativos y cuantitativos en datos sintéticos y del mundo real demuestran que nuestro DiET-GS es capaz de producir vistas novedosas de calidad significativamente mejor en comparación con las líneas base existentes. Nuestra página del proyecto es https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io