그래프 기반 기하학적 어텐션을 통한 일관된 시간 비행 깊이 노이즈 제거

Consistent Time-of-Flight Depth Denoising via Graph-Informed Geometric Attention

June 30, 2025

저자: Weida Wang, Changyong He, Jin Zeng, Di Qiu

cs.AI

초록

ToF(Time-of-Flight) 센서로 캡처한 깊이 이미지는 노이즈가 발생하기 쉬워 신뢰할 수 있는 다운스트림 애플리케이션을 위해 노이즈 제거가 필요합니다. 기존 연구들은 단일 프레임 처리에 집중하거나, 프레임 간 해당 픽셀의 깊이 변화를 고려하지 않고 다중 프레임 처리를 수행하여 바람직하지 않은 시간적 불일치와 공간적 모호성을 초래했습니다. 본 논문에서는 시간적 안정성과 공간적 선명도를 동시에 향상시키기 위해 모션 불변 그래프 융합을 활용한 새로운 ToF 깊이 노이즈 제거 네트워크를 제안합니다. 구체적으로, 프레임 간 깊이 변화에도 불구하고 그래프 구조는 시간적 자기 유사성을 나타내며, 이를 통해 프레임 간 기하학적 주의를 기반으로 그래프 융합이 가능합니다. 그런 다음, 융합된 그래프에 이미지 평활성 사전 정보와 ToF 노이즈 분포에서 도출된 데이터 충실도 항을 통합하여 ToF 노이즈 제거를 위한 최대 사후 확률 문제를 공식화합니다. 마지막으로, 이 해결책은 그래프 기반 기하학적 주의에서 적응적으로 학습된 가중치를 가진 반복적 필터로 전개되어, 고성능이면서도 해석 가능한 네트워크를 생성합니다. 실험 결과, 제안된 기법은 합성 DVToF 데이터셋에서 정확성과 일관성 측면에서 최첨단 성능을 달성했으며, 실제 Kinectv2 데이터셋에서도 강력한 일반화 능력을 보였습니다. 소스 코드는 https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}에서 공개될 예정입니다.

English

Depth images captured by Time-of-Flight (ToF) sensors are prone to noise, requiring denoising for reliable downstream applications. Previous works either focus on single-frame processing, or perform multi-frame processing without considering depth variations at corresponding pixels across frames, leading to undesirable temporal inconsistency and spatial ambiguity. In this paper, we propose a novel ToF depth denoising network leveraging motion-invariant graph fusion to simultaneously enhance temporal stability and spatial sharpness. Specifically, despite depth shifts across frames, graph structures exhibit temporal self-similarity, enabling cross-frame geometric attention for graph fusion. Then, by incorporating an image smoothness prior on the fused graph and data fidelity term derived from ToF noise distribution, we formulate a maximum a posterior problem for ToF denoising. Finally, the solution is unrolled into iterative filters whose weights are adaptively learned from the graph-informed geometric attention, producing a high-performance yet interpretable network. Experimental results demonstrate that the proposed scheme achieves state-of-the-art performance in terms of accuracy and consistency on synthetic DVToF dataset and exhibits robust generalization on the real Kinectv2 dataset. Source code will be released at https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.