DiET-GS: Difusão Priori e Desembaçamento de Movimento Assistido por Fluxo de Eventos em 3D Gaussian Splatting

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Autores: Seungjun Lee, Gim Hee Lee

cs.AI

Resumo

Reconstruir representações 3D nítidas a partir de imagens multi-visão desfocadas é um problema de longa data na visão computacional. Trabalhos recentes tentam melhorar a síntese de novas visões de alta qualidade a partir do desfoque de movimento, aproveitando câmeras baseadas em eventos, que beneficiam de alta faixa dinâmica e resolução temporal de microssegundos. No entanto, eles frequentemente alcançam qualidade visual subótima, seja restaurando cores imprecisas ou perdendo detalhes refinados. Neste artigo, apresentamos o DiET-GS, um método de desfoque de movimento 3DGS assistido por fluxo de eventos e prior de difusão. Nosso framework aproveita efetivamente tanto os fluxos de eventos livres de desfoque quanto a prior de difusão em uma estratégia de treinamento em duas etapas. Especificamente, introduzimos um novo framework para restringir o 3DGS com a integral dupla de eventos, alcançando tanto cores precisas quanto detalhes bem definidos. Além disso, propomos uma técnica simples para aproveitar a prior de difusão e aprimorar ainda mais os detalhes das bordas. Resultados qualitativos e quantitativos em dados sintéticos e do mundo real demonstram que nosso DiET-GS é capaz de produzir novas visões com qualidade significativamente melhor em comparação com as abordagens existentes. Nossa página do projeto está disponível em https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io