Согласованное устранение шума в данных глубины, полученных методом времени пролета, с использованием геометрического внимания на основе графов

Consistent Time-of-Flight Depth Denoising via Graph-Informed Geometric Attention

June 30, 2025

Авторы: Weida Wang, Changyong He, Jin Zeng, Di Qiu

cs.AI

Аннотация

Глубинные изображения, полученные с помощью сенсоров времени пролета (Time-of-Flight, ToF), подвержены шумам, что требует их устранения для надежного использования в последующих приложениях. Предыдущие работы либо сосредоточены на обработке одиночных кадров, либо выполняют многокадровую обработку без учета изменений глубины в соответствующих пикселях между кадрами, что приводит к нежелательной временной нестабильности и пространственной неоднозначности. В данной статье мы предлагаем новую сеть для устранения шумов в глубинных изображениях ToF, использующую слияние графов, инвариантное к движению, для одновременного улучшения временной стабильности и пространственной четкости. В частности, несмотря на изменения глубины между кадрами, структуры графов демонстрируют временную самоподобие, что позволяет использовать перекрестное геометрическое внимание для слияния графов. Затем, включая априорное условие гладкости изображения на объединенном графе и термин точности данных, выведенный из распределения шумов ToF, мы формулируем задачу максимизации апостериорной вероятности для устранения шумов ToF. Наконец, решение разворачивается в итеративные фильтры, веса которых адаптивно обучаются на основе геометрического внимания, информированного графом, что позволяет создать высокопроизводительную и интерпретируемую сеть. Экспериментальные результаты показывают, что предложенный метод достигает наилучших показателей по точности и согласованности на синтетическом наборе данных DVToF и демонстрирует устойчивую обобщаемость на реальном наборе данных Kinectv2. Исходный код будет доступен по адресу https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.

English

Depth images captured by Time-of-Flight (ToF) sensors are prone to noise, requiring denoising for reliable downstream applications. Previous works either focus on single-frame processing, or perform multi-frame processing without considering depth variations at corresponding pixels across frames, leading to undesirable temporal inconsistency and spatial ambiguity. In this paper, we propose a novel ToF depth denoising network leveraging motion-invariant graph fusion to simultaneously enhance temporal stability and spatial sharpness. Specifically, despite depth shifts across frames, graph structures exhibit temporal self-similarity, enabling cross-frame geometric attention for graph fusion. Then, by incorporating an image smoothness prior on the fused graph and data fidelity term derived from ToF noise distribution, we formulate a maximum a posterior problem for ToF denoising. Finally, the solution is unrolled into iterative filters whose weights are adaptively learned from the graph-informed geometric attention, producing a high-performance yet interpretable network. Experimental results demonstrate that the proposed scheme achieves state-of-the-art performance in terms of accuracy and consistency on synthetic DVToF dataset and exhibits robust generalization on the real Kinectv2 dataset. Source code will be released at https://github.com/davidweidawang/GIGA-ToF{https://github.com/davidweidawang/GIGA-ToF}.