DiET-GS: Diffusionsprior und Ereignisstrom-unterstützte Bewegungsentschärfung für 3D-Gaußsche Splatting

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Autoren: Seungjun Lee, Gim Hee Lee

cs.AI

Zusammenfassung

Die Rekonstruktion scharfer 3D-Darstellungen aus unscharfen Multi-View-Bildern ist ein langjähriges Problem in der Computer Vision. Aktuelle Arbeiten versuchen, die hochwertige Synthese neuer Ansichten aus Bewegungsunschärfe zu verbessern, indem sie Event-basierte Kameras nutzen, die von einem hohen Dynamikumfang und einer Mikrosekunden-temporalen Auflösung profitieren. Allerdings erreichen sie oft eine suboptimale visuelle Qualität, entweder durch die Wiederherstellung ungenauer Farben oder den Verlust feiner Details. In diesem Artikel präsentieren wir DiET-GS, ein Diffusions-Prior- und Event-Stream-unterstütztes Bewegungsentrauschungs-3DGS. Unser Framework nutzt effektiv sowohl scharfe Event-Streams als auch einen Diffusions-Prior in einer zweistufigen Trainingsstrategie. Insbesondere führen wir ein neuartiges Framework ein, das 3DGS mit einer Event-Doppelintegration einschränkt, um sowohl genaue Farben als auch gut definierte Details zu erreichen. Zusätzlich schlagen wir eine einfache Technik vor, um den Diffusions-Prior zu nutzen und die Kantendetails weiter zu verbessern. Qualitative und quantitative Ergebnisse sowohl auf synthetischen als auch realen Daten zeigen, dass unser DiET-GS in der Lage ist, deutlich bessere Qualitäten neuer Ansichten im Vergleich zu den bestehenden Baselines zu erzeugen. Unsere Projektseite ist https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io