2D Гауссово размытие с семантическим выравниванием для восстановления изображений

2D Gaussian Splatting with Semantic Alignment for Image Inpainting

September 2, 2025

Авторы: Hongyu Li, Chaofeng Chen, Xiaoming Li, Guangming Lu

cs.AI

Аннотация

Гауссово размытие (Gaussian Splatting, GS), недавно разработанная методика преобразования дискретных точек в непрерывные пространственные представления, продемонстрировала перспективные результаты в моделировании 3D-сцен и суперразрешении 2D-изображений. В данной работе мы исследуем её нераскрытый потенциал для задачи восстановления изображений (inpainting), которая требует как локально согласованного синтеза пикселей, так и глобально согласованного семантического восстановления. Мы предлагаем первую структуру для восстановления изображений, основанную на 2D-гауссовом размытии, которая кодирует неполные изображения в непрерывное поле коэффициентов 2D-гауссовых размытий и восстанавливает итоговое изображение с помощью дифференцируемого процесса растеризации. Непрерывная парадигма рендеринга GS естественным образом способствует пиксельной согласованности в восстановленных результатах. Для повышения эффективности и масштабируемости мы вводим стратегию пошаговой растеризации, которая снижает затраты памяти и ускоряет вывод. Для обеспечения глобальной семантической согласованности мы интегрируем признаки из предобученной модели DINO. Мы отмечаем, что глобальные признаки DINO естественным образом устойчивы к небольшим пропущенным областям и могут эффективно адаптироваться для управления семантическим выравниванием в сценариях с большими масками, гарантируя, что восстановленное содержание остаётся контекстуально согласованным с окружающей сценой. Многочисленные эксперименты на стандартных тестовых наборах данных показывают, что наш метод достигает конкурентоспособных результатов как по количественным метрикам, так и по воспринимаемому качеству, открывая новое направление для применения гауссова размытия в обработке 2D-изображений.

English

Gaussian Splatting (GS), a recent technique for converting discrete points into continuous spatial representations, has shown promising results in 3D scene modeling and 2D image super-resolution. In this paper, we explore its untapped potential for image inpainting, which demands both locally coherent pixel synthesis and globally consistent semantic restoration. We propose the first image inpainting framework based on 2D Gaussian Splatting, which encodes incomplete images into a continuous field of 2D Gaussian splat coefficients and reconstructs the final image via a differentiable rasterization process. The continuous rendering paradigm of GS inherently promotes pixel-level coherence in the inpainted results. To improve efficiency and scalability, we introduce a patch-wise rasterization strategy that reduces memory overhead and accelerates inference. For global semantic consistency, we incorporate features from a pretrained DINO model. We observe that DINO's global features are naturally robust to small missing regions and can be effectively adapted to guide semantic alignment in large-mask scenarios, ensuring that the inpainted content remains contextually consistent with the surrounding scene. Extensive experiments on standard benchmarks demonstrate that our method achieves competitive performance in both quantitative metrics and perceptual quality, establishing a new direction for applying Gaussian Splatting to 2D image processing.