RPCANet++: Глубокая интерпретируемая устойчивая PCA для сегментации разреженных объектов

RPCANet++: Deep Interpretable Robust PCA for Sparse Object Segmentation

August 6, 2025

Авторы: Fengyi Wu, Yimian Dai, Tianfang Zhang, Yixuan Ding, Jian Yang, Ming-Ming Cheng, Zhenming Peng

cs.AI

Аннотация

Робастный анализ главных компонент (RPCA) разлагает матрицу наблюдений на низкоранговый фоновый компонент и разреженный компонент объектов. Эта возможность позволила применять его в задачах, начиная от восстановления изображений до сегментации. Однако традиционные модели RPCA страдают от вычислительной нагрузки, вызванной матричными операциями, зависимости от тщательно настроенных гиперпараметров и жестких априорных предположений, которые ограничивают адаптивность в динамических сценариях. Для решения этих ограничений мы предлагаем RPCANet++, фреймворк для сегментации разреженных объектов, который объединяет интерпретируемость RPCA с эффективными глубокими архитектурами. Наш подход разворачивает ослабленную модель RPCA в структурированную сеть, состоящую из модуля аппроксимации фона (BAM), модуля извлечения объектов (OEM) и модуля восстановления изображений (IRM). Для снижения потерь при передаче между этапами в BAM мы вводим модуль с расширенной памятью (MAM) для улучшения сохранения фоновых признаков, в то время как модуль глубокого контрастного априори (DCPM) использует подсказки значимости для ускорения извлечения объектов. Многочисленные эксперименты на различных наборах данных демонстрируют, что RPCANet++ достигает наилучших результатов в различных сценариях визуализации. Мы дополнительно улучшаем интерпретируемость с помощью визуальных и численных измерений низкоранговости и разреженности. Сочетая теоретические преимущества RPCA с эффективностью глубоких сетей, наш подход устанавливает новый базис для надежной и интерпретируемой сегментации разреженных объектов. Код доступен на нашей странице проекта: https://fengyiwu98.github.io/rpcanetx.

English

Robust principal component analysis (RPCA) decomposes an observation matrix into low-rank background and sparse object components. This capability has enabled its application in tasks ranging from image restoration to segmentation. However, traditional RPCA models suffer from computational burdens caused by matrix operations, reliance on finely tuned hyperparameters, and rigid priors that limit adaptability in dynamic scenarios. To solve these limitations, we propose RPCANet++, a sparse object segmentation framework that fuses the interpretability of RPCA with efficient deep architectures. Our approach unfolds a relaxed RPCA model into a structured network comprising a Background Approximation Module (BAM), an Object Extraction Module (OEM), and an Image Restoration Module (IRM). To mitigate inter-stage transmission loss in the BAM, we introduce a Memory-Augmented Module (MAM) to enhance background feature preservation, while a Deep Contrast Prior Module (DCPM) leverages saliency cues to expedite object extraction. Extensive experiments on diverse datasets demonstrate that RPCANet++ achieves state-of-the-art performance under various imaging scenarios. We further improve interpretability via visual and numerical low-rankness and sparsity measurements. By combining the theoretical strengths of RPCA with the efficiency of deep networks, our approach sets a new baseline for reliable and interpretable sparse object segmentation. Codes are available at our Project Webpage https://fengyiwu98.github.io/rpcanetx.