DiET-GS : Défloutage de mouvement assisté par flux d'événements et prior de diffusion pour le splatting 3D Gaussien

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Auteurs: Seungjun Lee, Gim Hee Lee

cs.AI

Résumé

La reconstruction de représentations 3D nettes à partir d'images multivues floues constitue un problème de longue date en vision par ordinateur. Les travaux récents tentent d'améliorer la synthèse de nouvelles vues de haute qualité à partir du flou de mouvement en exploitant des caméras basées sur les événements, bénéficiant ainsi d'une plage dynamique élevée et d'une résolution temporelle de l'ordre de la microseconde. Cependant, ces approches atteignent souvent une qualité visuelle sous-optimale, soit en restaurant des couleurs imprécises, soit en perdant des détails fins. Dans cet article, nous présentons DiET-GS, une méthode de débruitage de mouvement 3DGS assistée par un flux d'événements et un a priori de diffusion. Notre cadre exploite efficacement à la fois les flux d'événements sans flou et l'a priori de diffusion dans une stratégie d'apprentissage en deux étapes. Plus précisément, nous introduisons un nouveau cadre pour contraindre la 3DGS avec une double intégrale d'événements, permettant d'obtenir à la fois des couleurs précises et des détails bien définis. De plus, nous proposons une technique simple pour exploiter l'a priori de diffusion afin d'améliorer davantage les détails des contours. Les résultats qualitatifs et quantitatifs sur des données synthétiques et réelles démontrent que notre DiET-GS est capable de produire des nouvelles vues de qualité significativement supérieure par rapport aux méthodes de référence existantes. Notre page de projet est disponible à l'adresse suivante : https://diet-gs.github.io

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io