事後平均整流フロー：最小平均二乗誤差写真実在画像の復元に向けて

Posterior-Mean Rectified Flow: Towards Minimum MSE Photo-Realistic Image Restoration

October 1, 2024

著者: Guy Ohayon, Tomer Michaeli, Michael Elad

cs.AI

要旨

写実的な画像復元アルゴリズムは通常、歪み測定（例：PSNR、SSIM）および知覚品質測定（例：FID、NIQE）によって評価されます。ここでの望みは、知覚品質を損なうことなく、できるだけ低い歪みを達成することです。この目標を達成するために、現在の手法は通常、事後分布からサンプリングを試みるか、歪み損失（例：MSE）と知覚品質損失（例：GAN）の加重和を最適化します。本論文は、これまでの研究とは異なり、再構成された画像の分布が正解画像の分布と等しい場合に、MSEを最小化する最適な推定器に焦点を当てています。最近の理論的結果によると、そのような推定器は、事後平均予測（MMSE推定）を最適に輸送して正解画像の分布に到達させることで構築できます。この結果に触発され、本研究では、この最適な推定器を近似するシンプルかつ効果的なアルゴリズムである「事後平均補正フロー（PMRF）」を紹介します。具体的には、PMRFはまず事後平均を予測し、その結果を望ましい最適輸送マップを近似する補正フローモデルを使用して高品質な画像に輸送します。PMRFの理論的有用性を調査し、さまざまな画像復元タスクで従来の手法を一貫して上回ることを実証します。

English

Photo-realistic image restoration algorithms are typically evaluated by distortion measures (e.g., PSNR, SSIM) and by perceptual quality measures (e.g., FID, NIQE), where the desire is to attain the lowest possible distortion without compromising on perceptual quality. To achieve this goal, current methods typically attempt to sample from the posterior distribution, or to optimize a weighted sum of a distortion loss (e.g., MSE) and a perceptual quality loss (e.g., GAN). Unlike previous works, this paper is concerned specifically with the optimal estimator that minimizes the MSE under a constraint of perfect perceptual index, namely where the distribution of the reconstructed images is equal to that of the ground-truth ones. A recent theoretical result shows that such an estimator can be constructed by optimally transporting the posterior mean prediction (MMSE estimate) to the distribution of the ground-truth images. Inspired by this result, we introduce Posterior-Mean Rectified Flow (PMRF), a simple yet highly effective algorithm that approximates this optimal estimator. In particular, PMRF first predicts the posterior mean, and then transports the result to a high-quality image using a rectified flow model that approximates the desired optimal transport map. We investigate the theoretical utility of PMRF and demonstrate that it consistently outperforms previous methods on a variety of image restoration tasks.