2D-Gaußsplatting mit semantischer Ausrichtung für Bildinpainting

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

papers.authors: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

papers.abstract

Gaussian Splatting (GS), eine kürzlich entwickelte Technik zur Umwandlung diskreter Punkte in kontinuierliche räumliche Darstellungen, hat vielversprechende Ergebnisse in der 3D-Szenenmodellierung und der 2D-Bildsuperauflösung gezeigt. In diesem Artikel untersuchen wir ihr ungenutztes Potenzial für die Bildinpainting, die sowohl lokal kohärente Pixel-Synthese als auch global konsistente semantische Wiederherstellung erfordert. Wir schlagen das erste Bildinpainting-Framework basierend auf 2D-Gaussian Splatting vor, das unvollständige Bilder in ein kontinuierliches Feld von 2D-Gaussian-Splat-Koeffizienten kodiert und das endgültige Bild über einen differenzierbaren Rasterisierungsprozess rekonstruiert. Das kontinuierliche Rendering-Paradigma von GS fördert inhärent die Pixel-Kohärenz in den inpainting-Ergebnissen. Um Effizienz und Skalierbarkeit zu verbessern, führen wir eine patch-basierte Rasterisierungsstrategie ein, die den Speicherbedarf reduziert und die Inferenz beschleunigt. Für globale semantische Konsistenz integrieren wir Merkmale eines vortrainierten DINO-Modells. Wir beobachten, dass die globalen Merkmale von DINO natürlicherweise robust gegenüber kleinen fehlenden Regionen sind und effektiv angepasst werden können, um die semantische Ausrichtung in Szenarien mit großen Masken zu leiten, wodurch sichergestellt wird, dass der inpainting-Inhalt kontextuell konsistent mit der umgebenden Szene bleibt. Umfangreiche Experimente auf Standard-Benchmarks zeigen, dass unsere Methode sowohl in quantitativen Metriken als auch in der wahrgenommenen Qualität wettbewerbsfähige Leistungen erzielt und damit eine neue Richtung für die Anwendung von Gaussian Splatting in der 2D-Bildverarbeitung etabliert.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.