Eliminación de Ruido en Representaciones Consciente de la Geometría para la Reconstrucción 3D Multivista Robusta

Resumen

La reconstrucción 3D multivista ha logrado un progreso notable con la llegada de los modelos de reconstrucción 3D feed-forward. Sin embargo, estos modelos suelen entrenarse y evaluarse bajo condiciones de imagen ideales y sin degradaciones, mientras que las observaciones del mundo real a menudo contienen degradaciones que difieren significativamente de tales entornos. Por lo tanto, mejorar la robustez de la reconstrucción 3D multivista en condiciones degradadas sigue siendo un desafío importante. Presentamos Geometry-Aware Representation Denoising (GARD), un marco novedoso que realiza la restauración multivista basada en difusión directamente en el espacio de características de un modelo de reconstrucción 3D feed-forward. Este diseño explota las representaciones de características conscientes de la geometría del reconstructor 3D para recuperar de manera efectiva la geometría precisa de la escena. Además, al emplear un decodificador de imágenes RGB adicional, las representaciones refinadas también pueden utilizarse para restaurar imágenes RGB de alta calidad, permitiendo así la recuperación simultánea de la geometría de la escena 3D y las imágenes de alta calidad. Experimentos exhaustivos en el punto de referencia Depth Anything 3 (DA3) demuestran la efectividad del marco GARD propuesto.

English

Multi-view 3D reconstruction has achieved remarkable progress with the advent of feed-forward 3D reconstruction models. However, these models are typically trained and evaluated under ideal, degradation-free imaging conditions, whereas real-world observations often contain degradations that differ significantly from such settings. Improving robustness for multi-view 3D reconstruction under degraded conditions therefore remains an important challenge. We present Geometry-Aware Representation Denoising (GARD), a novel framework that performs diffusion-based multi-view restoration directly in the feature space of a feed-forward 3D reconstruction model. This design exploits the geometry-aware feature representations of the 3D reconstructor to effectively recover accurate scene geometry. Furthermore, by employing an additional RGB image decoder, the refined representations can also be used to restore high-quality RGB images, thereby enabling the simultaneous recovery of 3D scene geometry and high-quality imagery. Comprehensive experiments on the Depth Anything 3 (DA3) benchmark demonstrate the effectiveness of the proposed GARD framework.