Débruitage cohérent de la profondeur par temps de vol via une attention géométrique informée par graphe

Consistent Time-of-Flight Depth Denoising via Graph-Informed Geometric Attention

June 30, 2025

Auteurs: Weida Wang, Changyong He, Jin Zeng, Di Qiu

cs.AI

Résumé

Les images de profondeur capturées par les capteurs Time-of-Flight (ToF) sont sujettes au bruit, nécessitant un débruitage pour des applications fiables en aval. Les travaux précédents se concentrent soit sur le traitement d'une seule image, soit effectuent un traitement multi-images sans tenir compte des variations de profondeur aux pixels correspondants entre les images, ce qui entraîne une incohérence temporelle et une ambiguïté spatiale indésirables. Dans cet article, nous proposons un nouveau réseau de débruitage de profondeur ToF exploitant la fusion de graphes invariants au mouvement pour améliorer simultanément la stabilité temporelle et la netteté spatiale. Plus précisément, malgré les décalages de profondeur entre les images, les structures de graphes présentent une auto-similarité temporelle, permettant une attention géométrique inter-images pour la fusion de graphes. Ensuite, en incorporant un a priori de lissage d'image sur le graphe fusionné et un terme de fidélité aux données dérivé de la distribution du bruit ToF, nous formulons un problème d'estimation a posteriori maximale pour le débruitage ToF. Enfin, la solution est dépliée en filtres itératifs dont les poids sont appris de manière adaptative à partir de l'attention géométrique informée par le graphe, produisant un réseau à la fois performant et interprétable. Les résultats expérimentaux démontrent que le schéma proposé atteint des performances de pointe en termes de précision et de cohérence sur le jeu de données synthétique DVToF et présente une généralisation robuste sur le jeu de données réel Kinectv2. Le code source sera disponible à l'adresse suivante : https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.

English

Depth images captured by Time-of-Flight (ToF) sensors are prone to noise, requiring denoising for reliable downstream applications. Previous works either focus on single-frame processing, or perform multi-frame processing without considering depth variations at corresponding pixels across frames, leading to undesirable temporal inconsistency and spatial ambiguity. In this paper, we propose a novel ToF depth denoising network leveraging motion-invariant graph fusion to simultaneously enhance temporal stability and spatial sharpness. Specifically, despite depth shifts across frames, graph structures exhibit temporal self-similarity, enabling cross-frame geometric attention for graph fusion. Then, by incorporating an image smoothness prior on the fused graph and data fidelity term derived from ToF noise distribution, we formulate a maximum a posterior problem for ToF denoising. Finally, the solution is unrolled into iterative filters whose weights are adaptively learned from the graph-informed geometric attention, producing a high-performance yet interpretable network. Experimental results demonstrate that the proposed scheme achieves state-of-the-art performance in terms of accuracy and consistency on synthetic DVToF dataset and exhibits robust generalization on the real Kinectv2 dataset. Source code will be released at https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.