DiET-GS: Diffusieprior en gebeurtenisstroom-ondersteunde bewegingsontscherping voor 3D Gaussische splatting

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

Auteurs: Seungjun Lee, Gim Hee Lee

cs.AI

Samenvatting

Het reconstrueren van scherpe 3D-representaties uit wazige multi-view beelden is een lang bestaand probleem in de computer vision. Recente werken proberen hoogwaardige nieuwe viewsynthese te verbeteren vanuit bewegingsonscherpte door gebruik te maken van event-based camera's, die profiteren van een hoog dynamisch bereik en microseconden temporele resolutie. Echter, bereiken ze vaak suboptimale visuele kwaliteit door het herstellen van onnauwkeurige kleuren of het verliezen van fijne details. In dit artikel presenteren we DiET-GS, een diffusieprior en event stream-ondersteunde bewegingsdeblurring 3DGS. Ons framework benut effectief zowel blurvrije event streams als diffusieprior in een tweefasen trainingsstrategie. Specifiek introduceren we het nieuwe framework om 3DGS te beperken met event dubbele integratie, waardoor zowel nauwkeurige kleuren als goed gedefinieerde details worden bereikt. Daarnaast stellen we een eenvoudige techniek voor om diffusieprior te benutten om de randdetails verder te verbeteren. Kwalitatieve en kwantitatieve resultaten op zowel synthetische als real-world data tonen aan dat onze DiET-GS in staat is om aanzienlijk betere kwaliteit van nieuwe views te produceren in vergelijking met de bestaande baselines. Onze projectpagina is https://diet-gs.github.io.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io