Gaussienne 2D par projection avec alignement sémantique pour la restauration d'images

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

papers.authors: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

papers.abstract

Le Gaussian Splatting (GS), une technique récente pour convertir des points discrets en représentations spatiales continues, a montré des résultats prometteurs dans la modélisation de scènes 3D et la super-résolution d'images 2D. Dans cet article, nous explorons son potentiel inexploité pour la restauration d'images, qui exige à la fois une synthèse de pixels localement cohérente et une restauration sémantique globalement consistante. Nous proposons le premier cadre de restauration d'images basé sur le Gaussian Splatting 2D, qui encode des images incomplètes dans un champ continu de coefficients de splats gaussiens 2D et reconstruit l'image finale via un processus de rasterisation différentiable. Le paradigme de rendu continu du GS favorise intrinsèquement la cohérence au niveau des pixels dans les résultats restaurés. Pour améliorer l'efficacité et la scalabilité, nous introduisons une stratégie de rasterisation par patchs qui réduit la surcharge mémoire et accélère l'inférence. Pour la cohérence sémantique globale, nous intégrons des caractéristiques issues d'un modèle DINO pré-entraîné. Nous observons que les caractéristiques globales de DINO sont naturellement robustes aux petites régions manquantes et peuvent être efficacement adaptées pour guider l'alignement sémantique dans des scénarios de masques larges, garantissant que le contenu restauré reste contextuellement cohérent avec la scène environnante. Des expériences approfondies sur des benchmarks standards démontrent que notre méthode atteint des performances compétitives à la fois en termes de métriques quantitatives et de qualité perceptuelle, établissant une nouvelle direction pour l'application du Gaussian Splatting au traitement d'images 2D.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.