DiET-GS: 확산 사전 정보와 이벤트 스트림 기반 모션 블러 제거 3D 가우시안 스플래팅

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

저자: Seungjun Lee, Gim Hee Lee

cs.AI

초록

흐릿한 다중 뷰 이미지로부터 선명한 3D 표현을 재구성하는 것은 컴퓨터 비전 분야에서 오랜 기간 동안 해결되지 않은 문제입니다. 최근 연구들은 고다이내믹 레인지와 마이크로초 단위의 시간 해상도를 제공하는 이벤트 기반 카메라를 활용하여 모션 블러로부터 고품질의 새로운 뷰 합성을 개선하려는 시도를 하고 있습니다. 그러나 이러한 방법들은 부정확한 색상을 복원하거나 미세한 디테일을 잃는 등 최적의 시각적 품질을 달성하지 못하는 경우가 많습니다. 본 논문에서는 DiET-GS라는 확산 사전 정보와 이벤트 스트림을 활용한 모션 디블러링 3DGS를 제안합니다. 우리의 프레임워크는 두 단계의 학습 전략을 통해 블러가 없는 이벤트 스트림과 확산 사전 정보를 효과적으로 활용합니다. 구체적으로, 우리는 이벤트 이중 적분을 통해 3DGS를 제약하는 새로운 프레임워크를 도입하여 정확한 색상과 잘 정의된 디테일을 동시에 달성합니다. 또한, 확산 사전 정보를 활용하여 에지 디테일을 더욱 향상시키는 간단한 기법을 제안합니다. 합성 데이터와 실제 데이터에 대한 정성적 및 정량적 결과는 우리의 DiET-GS가 기존 베이스라인에 비해 훨씬 더 우수한 품질의 새로운 뷰를 생성할 수 있음을 보여줍니다. 우리의 프로젝트 페이지는 https://diet-gs.github.io입니다.

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io