RPCANet++：スパースオブジェクトセグメンテーションのための深層解釈可能なロバストPCA

RPCANet++: Deep Interpretable Robust PCA for Sparse Object Segmentation

August 6, 2025

著者: Fengyi Wu, Yimian Dai, Tianfang Zhang, Yixuan Ding, Jian Yang, Ming-Ming Cheng, Zhenming Peng

cs.AI

要旨

ロバスト主成分分析（RPCA）は、観測行列を低ランクの背景成分とスパースな対象成分に分解する手法である。この能力により、画像修復からセグメンテーションに至る多様なタスクへの応用が可能となっている。しかし、従来のRPCAモデルは、行列演算に起因する計算負荷、微調整されたハイパーパラメータへの依存、動的なシナリオにおける適応性を制限する厳密な事前情報といった課題を抱えている。これらの制約を解決するため、本研究ではRPCAの解釈可能性と効率的な深層アーキテクチャを融合したスパース対象セグメンテーションフレームワークであるRPCANet++を提案する。我々のアプローチは、緩和されたRPCAモデルを、背景近似モジュール（BAM）、対象抽出モジュール（OEM）、画像修復モジュール（IRM）から構成される構造化ネットワークに展開する。BAMにおける段階間伝達損失を軽減するため、背景特徴の保存を強化するメモリ拡張モジュール（MAM）を導入し、一方で深層コントラスト事前モジュール（DCPM）は顕著性の手がかりを活用して対象抽出を加速する。多様なデータセットを用いた広範な実験により、RPCANet++が様々な画像シナリオにおいて最先端の性能を達成することが示された。さらに、視覚的および数値的な低ランク性とスパース性の測定を通じて解釈可能性を向上させた。RPCAの理論的強みと深層ネットワークの効率性を組み合わせることで、我々のアプローチは信頼性と解釈可能性を兼ね備えたスパース対象セグメンテーションの新たな基準を確立する。コードはプロジェクトウェブページ（https://fengyiwu98.github.io/rpcanetx）で公開されている。

English

Robust principal component analysis (RPCA) decomposes an observation matrix into low-rank background and sparse object components. This capability has enabled its application in tasks ranging from image restoration to segmentation. However, traditional RPCA models suffer from computational burdens caused by matrix operations, reliance on finely tuned hyperparameters, and rigid priors that limit adaptability in dynamic scenarios. To solve these limitations, we propose RPCANet++, a sparse object segmentation framework that fuses the interpretability of RPCA with efficient deep architectures. Our approach unfolds a relaxed RPCA model into a structured network comprising a Background Approximation Module (BAM), an Object Extraction Module (OEM), and an Image Restoration Module (IRM). To mitigate inter-stage transmission loss in the BAM, we introduce a Memory-Augmented Module (MAM) to enhance background feature preservation, while a Deep Contrast Prior Module (DCPM) leverages saliency cues to expedite object extraction. Extensive experiments on diverse datasets demonstrate that RPCANet++ achieves state-of-the-art performance under various imaging scenarios. We further improve interpretability via visual and numerical low-rankness and sparsity measurements. By combining the theoretical strengths of RPCA with the efficiency of deep networks, our approach sets a new baseline for reliable and interpretable sparse object segmentation. Codes are available at our Project Webpage https://fengyiwu98.github.io/rpcanetx.