Splatting Gaussiano 2D con Allineamento Semantico per l'Inpainting di Immagini

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

Autori: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

Abstract

Il Gaussian Splatting (GS), una tecnica recente per convertire punti discreti in rappresentazioni spaziali continue, ha mostrato risultati promettenti nella modellazione di scene 3D e nella super-risoluzione di immagini 2D. In questo articolo, esploriamo il suo potenziale inesplorato per l'image inpainting, che richiede sia una sintesi di pixel localmente coerente sia un ripristino semanticamente consistente a livello globale. Proponiamo il primo framework di image inpainting basato su Gaussian Splatting 2D, che codifica immagini incomplete in un campo continuo di coefficienti di splat gaussiani 2D e ricostruisce l'immagine finale attraverso un processo di rasterizzazione differenziabile. Il paradigma di rendering continuo del GS promuove intrinsecamente la coerenza a livello di pixel nei risultati dell'inpainting. Per migliorare l'efficienza e la scalabilità, introduciamo una strategia di rasterizzazione a patch che riduce l'overhead di memoria e accelera l'inferenza. Per la consistenza semantica globale, incorporiamo feature da un modello DINO pre-addestrato. Osserviamo che le feature globali di DINO sono naturalmente robuste rispetto a piccole regioni mancanti e possono essere efficacemente adattate per guidare l'allineamento semantico in scenari con maschere ampie, garantendo che il contenuto riempito rimanga contestualmente coerente con la scena circostante. Esperimenti estensivi su benchmark standard dimostrano che il nostro metodo raggiunge prestazioni competitive sia nelle metriche quantitative che nella qualità percettiva, stabilendo una nuova direzione per l'applicazione del Gaussian Splatting all'elaborazione di immagini 2D.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.