Gaussian Splatting 2D com Alinhamento Semântico para Preenchimento de Imagens

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

Autores: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

Resumo

O Gaussian Splatting (GS), uma técnica recente para converter pontos discretos em representações espaciais contínuas, tem mostrado resultados promissores na modelagem de cenas 3D e na super-resolução de imagens 2D. Neste artigo, exploramos seu potencial inexplorado para a restauração de imagens (inpainting), que exige tanto a síntese de pixels localmente coerente quanto a restauração semanticamente consistente em nível global. Propomos o primeiro framework de inpainting de imagens baseado em Gaussian Splatting 2D, que codifica imagens incompletas em um campo contínuo de coeficientes de splat Gaussiano 2D e reconstrói a imagem final por meio de um processo de rasterização diferenciável. O paradigma de renderização contínua do GS promove naturalmente a coerência em nível de pixel nos resultados restaurados. Para melhorar a eficiência e a escalabilidade, introduzimos uma estratégia de rasterização por blocos que reduz a sobrecarga de memória e acelera a inferência. Para garantir a consistência semântica global, incorporamos recursos de um modelo DINO pré-treinado. Observamos que os recursos globais do DINO são naturalmente robustos a pequenas regiões ausentes e podem ser efetivamente adaptados para guiar o alinhamento semântico em cenários com grandes máscaras, garantindo que o conteúdo restaurado permaneça contextualmente consistente com a cena circundante. Experimentos extensivos em benchmarks padrão demonstram que nosso método alcança desempenho competitivo tanto em métricas quantitativas quanto na qualidade perceptual, estabelecendo uma nova direção para a aplicação do Gaussian Splatting no processamento de imagens 2D.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.