Consistente ruisreductie in Time-of-Flight-dieptemetingen via geometrische aandacht geïnformeerd door grafieken

Consistent Time-of-Flight Depth Denoising via Graph-Informed Geometric Attention

June 30, 2025

Auteurs: Weida Wang, Changyong He, Jin Zeng, Di Qiu

cs.AI

Samenvatting

Diepte-afbeeldingen die worden vastgelegd door Time-of-Flight (ToF) sensoren zijn gevoelig voor ruis, waardoor denoising nodig is voor betrouwbare downstream toepassingen. Eerdere werken richten zich ofwel op single-frame verwerking, of voeren multi-frame verwerking uit zonder rekening te houden met dieptevariaties bij corresponderende pixels over frames, wat leidt tot ongewenste temporele inconsistentie en ruimtelijke ambiguïteit. In dit artikel stellen we een nieuw ToF diepte-denoising netwerk voor dat gebruik maakt van motion-invariant graph fusion om tegelijkertijd temporele stabiliteit en ruimtelijke scherpte te verbeteren. Specifiek, ondanks diepteveranderingen over frames, vertonen grafiekstructuren temporele zelfgelijkvormigheid, wat cross-frame geometrische aandacht voor grafiekfusie mogelijk maakt. Vervolgens formuleren we, door een beeldgladheidsprior op de gefuseerde grafiek en een data-fidelity term afgeleid van de ToF-ruisverdeling te integreren, een maximum a posteriori probleem voor ToF-denoising. Ten slotte wordt de oplossing uitgevouwen tot iteratieve filters waarvan de gewichten adaptief worden geleerd uit de grafiek-geïnformeerde geometrische aandacht, wat resulteert in een hoogwaardig maar interpreteerbaar netwerk. Experimentele resultaten tonen aan dat het voorgestelde schema state-of-the-art prestaties bereikt in termen van nauwkeurigheid en consistentie op de synthetische DVToF dataset en robuuste generalisatie vertoont op de echte Kinectv2 dataset. Broncode zal worden vrijgegeven op https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.

English

Depth images captured by Time-of-Flight (ToF) sensors are prone to noise, requiring denoising for reliable downstream applications. Previous works either focus on single-frame processing, or perform multi-frame processing without considering depth variations at corresponding pixels across frames, leading to undesirable temporal inconsistency and spatial ambiguity. In this paper, we propose a novel ToF depth denoising network leveraging motion-invariant graph fusion to simultaneously enhance temporal stability and spatial sharpness. Specifically, despite depth shifts across frames, graph structures exhibit temporal self-similarity, enabling cross-frame geometric attention for graph fusion. Then, by incorporating an image smoothness prior on the fused graph and data fidelity term derived from ToF noise distribution, we formulate a maximum a posterior problem for ToF denoising. Finally, the solution is unrolled into iterative filters whose weights are adaptively learned from the graph-informed geometric attention, producing a high-performance yet interpretable network. Experimental results demonstrate that the proposed scheme achieves state-of-the-art performance in terms of accuracy and consistency on synthetic DVToF dataset and exhibits robust generalization on the real Kinectv2 dataset. Source code will be released at https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.