2D Gaussische Splatting met Semantische Uitlijning voor Image Inpainting

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

Auteurs: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

Samenvatting

Gaussian Splatting (GS), een recente techniek voor het omzetten van discrete punten in continue ruimtelijke representaties, heeft veelbelovende resultaten getoond in 3D-scenemodellering en 2D-beeldsuperresolutie. In dit artikel onderzoeken we het onbenutte potentieel ervan voor beeldinpainting, wat zowel lokaal coherente pixelsynthese als wereldwijd consistente semantische herstel vereist. We stellen het eerste beeldinpainting-framework voor op basis van 2D Gaussian Splatting, dat onvolledige afbeeldingen codeert in een continu veld van 2D Gaussian splat-coëfficiënten en de uiteindelijke afbeelding reconstrueert via een differentieerbaar rasterisatieproces. Het continue renderparadigma van GS bevordert inherent pixel-niveau coherentie in de ingevulde resultaten. Om de efficiëntie en schaalbaarheid te verbeteren, introduceren we een patch-gewijze rasterisatiestrategie die het geheugengebruik vermindert en de inferentie versnelt. Voor wereldwijde semantische consistentie integreren we kenmerken van een voorgetraind DINO-model. We observeren dat de globale kenmerken van DINO van nature robuust zijn voor kleine ontbrekende regio's en effectief kunnen worden aangepast om semantische uitlijning te begeleiden in scenario's met grote maskers, waardoor de ingevulde inhoud contextueel consistent blijft met de omringende scène. Uitgebreide experimenten op standaard benchmarks tonen aan dat onze methode competitieve prestaties bereikt in zowel kwantitatieve metrieken als perceptuele kwaliteit, en hiermee een nieuwe richting vestigt voor het toepassen van Gaussian Splatting op 2D-beeldverwerking.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.