グラフ情報に基づく幾何学的注意を用いた一貫性のあるToF深度ノイズ除去

Consistent Time-of-Flight Depth Denoising via Graph-Informed Geometric Attention

June 30, 2025

著者: Weida Wang, Changyong He, Jin Zeng, Di Qiu

cs.AI

要旨

Time-of-Flight（ToF）センサーによって取得された深度画像はノイズの影響を受けやすく、信頼性の高い下流アプリケーションのためにはノイズ除去が必要です。従来の研究では、単一フレーム処理に焦点を当てるか、フレーム間の対応するピクセルにおける深度の変化を考慮せずにマルチフレーム処理を行うため、望ましくない時間的な不整合や空間的な曖昧さが生じていました。本論文では、モーション不変なグラフ融合を活用した新しいToF深度ノイズ除去ネットワークを提案し、時間的な安定性と空間的な鮮明さを同時に向上させます。具体的には、フレーム間で深度が変化しても、グラフ構造は時間的な自己相似性を示し、これによりフレーム間の幾何学的な注意機構を用いたグラフ融合が可能となります。次に、融合されたグラフに画像の平滑性事前分布を組み込み、ToFノイズ分布から導出されたデータ忠実度項を加えることで、ToFノイズ除去のための最大事後確率問題を定式化します。最後に、この解を反復フィルタに展開し、その重みをグラフに基づいた幾何学的な注意機構から適応的に学習することで、高性能でありながら解釈可能なネットワークを構築します。実験結果は、提案手法が合成DVToFデータセットにおいて精度と一貫性の点で最先端の性能を達成し、実世界のKinectv2データセットにおいても頑健な汎化性能を示すことを実証しています。ソースコードはhttps://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}で公開予定です。

English

Depth images captured by Time-of-Flight (ToF) sensors are prone to noise, requiring denoising for reliable downstream applications. Previous works either focus on single-frame processing, or perform multi-frame processing without considering depth variations at corresponding pixels across frames, leading to undesirable temporal inconsistency and spatial ambiguity. In this paper, we propose a novel ToF depth denoising network leveraging motion-invariant graph fusion to simultaneously enhance temporal stability and spatial sharpness. Specifically, despite depth shifts across frames, graph structures exhibit temporal self-similarity, enabling cross-frame geometric attention for graph fusion. Then, by incorporating an image smoothness prior on the fused graph and data fidelity term derived from ToF noise distribution, we formulate a maximum a posterior problem for ToF denoising. Finally, the solution is unrolled into iterative filters whose weights are adaptively learned from the graph-informed geometric attention, producing a high-performance yet interpretable network. Experimental results demonstrate that the proposed scheme achieves state-of-the-art performance in terms of accuracy and consistency on synthetic DVToF dataset and exhibits robust generalization on the real Kinectv2 dataset. Source code will be released at https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.