DiET-GS: 拡散事前分布とイベントストリームを活用したモーションブラー除去3Dガウシアンスプラッティング

DiET-GS: Diffusion Prior and Event Stream-Assisted Motion Deblurring 3D Gaussian Splatting

March 31, 2025

著者: Seungjun Lee, Gim Hee Lee

cs.AI

要旨

ぼやけたマルチビュー画像から鮮明な3D表現を再構築することは、コンピュータビジョンにおける長年の課題です。最近の研究では、イベントベースカメラを活用してモーションブラーから高品質な新規視点合成を向上させようと試みており、高いダイナミックレンジとマイクロ秒単位の時間分解能の利点を活かしています。しかし、これらの手法は、不正確な色の復元や細かいディテールの喪失といった点で、最適な視覚品質に達していないことが多いです。本論文では、DiET-GSという、拡散事前分布とイベントストリームを活用したモーションブラー除去3DGSを提案します。私たちのフレームワークは、ぼやけのないイベントストリームと拡散事前分布を二段階のトレーニング戦略で効果的に活用します。具体的には、イベント二重積分を用いて3DGSを制約する新しいフレームワークを導入し、正確な色と明確なディテールを両立させます。さらに、拡散事前分布を活用してエッジのディテールをさらに向上させるシンプルな技術を提案します。合成データと実世界のデータの両方における定性的および定量的な結果は、DiET-GSが既存のベースラインと比較して大幅に優れた品質の新規視点を生成できることを示しています。プロジェクトページはhttps://diet-gs.github.ioです。

English

Reconstructing sharp 3D representations from blurry multi-view images are long-standing problem in computer vision. Recent works attempt to enhance high-quality novel view synthesis from the motion blur by leveraging event-based cameras, benefiting from high dynamic range and microsecond temporal resolution. However, they often reach sub-optimal visual quality in either restoring inaccurate color or losing fine-grained details. In this paper, we present DiET-GS, a diffusion prior and event stream-assisted motion deblurring 3DGS. Our framework effectively leverages both blur-free event streams and diffusion prior in a two-stage training strategy. Specifically, we introduce the novel framework to constraint 3DGS with event double integral, achieving both accurate color and well-defined details. Additionally, we propose a simple technique to leverage diffusion prior to further enhance the edge details. Qualitative and quantitative results on both synthetic and real-world data demonstrate that our DiET-GS is capable of producing significantly better quality of novel views compared to the existing baselines. Our project page is https://diet-gs.github.io