Gaussian Splatting 2D con Alineación Semántica para Restauración de Imágenes

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

Autores: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

Resumen

El Gaussian Splatting (GS), una técnica reciente para convertir puntos discretos en representaciones espaciales continuas, ha mostrado resultados prometedores en el modelado de escenas 3D y la superresolución de imágenes 2D. En este artículo, exploramos su potencial no explotado para la restauración de imágenes (inpainting), que requiere tanto la síntesis de píxeles localmente coherente como la restauración semántica globalmente consistente. Proponemos el primer marco de restauración de imágenes basado en Gaussian Splatting 2D, que codifica imágenes incompletas en un campo continuo de coeficientes de splat gaussiano 2D y reconstruye la imagen final mediante un proceso de rasterización diferenciable. El paradigma de renderizado continuo del GS promueve inherentemente la coherencia a nivel de píxel en los resultados restaurados. Para mejorar la eficiencia y escalabilidad, introducimos una estrategia de rasterización por parches que reduce la sobrecarga de memoria y acelera la inferencia. Para la consistencia semántica global, incorporamos características de un modelo DINO preentrenado. Observamos que las características globales de DINO son naturalmente robustas ante pequeñas regiones faltantes y pueden adaptarse eficazmente para guiar la alineación semántica en escenarios con máscaras grandes, asegurando que el contenido restaurado permanezca contextualmente consistente con la escena circundante. Experimentos exhaustivos en benchmarks estándar demuestran que nuestro método logra un rendimiento competitivo tanto en métricas cuantitativas como en calidad perceptual, estableciendo una nueva dirección para la aplicación del Gaussian Splatting en el procesamiento de imágenes 2D.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.