이미지 인페인팅을 위한 시맨틱 정렬 기반 2D 가우시안 스플래팅

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

저자: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

초록

최근에 등장한 이산 점들을 연속적인 공간 표현으로 변환하는 기법인 가우시안 스플래팅(Gaussian Splatting, GS)은 3D 장면 모델링과 2D 이미지 초해상도 분야에서 유망한 결과를 보여주고 있습니다. 본 논문에서는 GS의 잠재력을 이미지 인페인팅(image inpainting)에 적용해보고자 합니다. 이미지 인페인팅은 지역적으로 일관된 픽셀 합성과 전역적으로 일관된 의미론적 복원을 모두 요구하는 작업입니다. 우리는 2D 가우시안 스플래팅을 기반으로 한 첫 번째 이미지 인페인팅 프레임워크를 제안합니다. 이 프레임워크는 불완전한 이미지를 2D 가우시안 스플래팅 계수의 연속 필드로 인코딩하고, 미분 가능한 래스터화 과정을 통해 최종 이미지를 재구성합니다. GS의 연속 렌더링 패러다임은 인페인팅 결과에서 픽셀 수준의 일관성을 자연스럽게 촉진합니다. 효율성과 확장성을 개선하기 위해, 우리는 메모리 오버헤드를 줄이고 추론 속도를 가속화하는 패치 단위 래스터화 전략을 도입했습니다. 전역적인 의미론적 일관성을 위해, 사전 학습된 DINO 모델의 특징을 통합했습니다. DINO의 전역 특징은 작은 결손 영역에 대해 자연스럽게 강건하며, 대규모 마스크 시나리오에서 의미론적 정렬을 안내하는 데 효과적으로 적용될 수 있어, 인페인팅된 내용이 주변 장면과 문맥적으로 일관되도록 합니다. 표준 벤치마크에서의 광범위한 실험을 통해, 우리의 방법이 정량적 지표와 지각적 품질 모두에서 경쟁력 있는 성능을 달성함을 확인했으며, 이는 2D 이미지 처리에 가우시안 스플래팅을 적용하는 새로운 방향을 제시합니다.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.