セマンティックアライメントを伴う2Dガウシアンスプラッティングによる画像インペインティング

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

著者: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

要旨

ガウシアンスプラッティング（GS）は、離散点を連続的な空間表現に変換する最近の技術であり、3Dシーンモデリングや2D画像の超解像において有望な結果を示しています。本論文では、画像修復における未開拓の可能性を探求します。画像修復は、局所的に一貫したピクセル合成と、全体的に整合性のある意味的復元の両方を要求します。我々は、2Dガウシアンスプラッティングに基づく初の画像修復フレームワークを提案します。このフレームワークは、不完全な画像を2Dガウシアンスプラット係数の連続フィールドにエンコードし、微分可能なラスタライゼーションプロセスを通じて最終画像を再構築します。GSの連続レンダリングパラダイムは、修復結果におけるピクセルレベルの一貫性を本質的に促進します。効率性とスケーラビリティを向上させるため、メモリオーバーヘッドを削減し、推論を加速するパッチ単位のラスタライゼーション戦略を導入します。全体的な意味的整合性のために、事前学習済みのDINOモデルからの特徴を組み込みます。DINOのグローバル特徴は、小さな欠損領域に対して自然に頑健であり、大規模なマスクシナリオにおける意味的アラインメントを効果的にガイドするために適応できることが観察されました。これにより、修復された内容が周囲のシーンと文脈的に整合性を保つことが保証されます。標準ベンチマークでの広範な実験により、我々の手法が定量的指標と知覚品質の両方において競争力のある性能を達成し、2D画像処理へのガウシアンスプラッティングの適用における新たな方向性を確立することが示されました。

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.