卓越へとスケールアップ：実世界におけるフォトリアリスティックな画像復元のためのモデルスケーリング実践

要旨

本論文では、生成事前分布とモデルスケーリングの力を活用した画期的な画像復元手法であるSUPIR（Scaling-UP Image Restoration）を紹介します。マルチモーダル技術と高度な生成事前分布を活用することで、SUPIRは知的で現実的な画像復元において大きな進歩を遂げています。SUPIRの中核となるモデルスケーリングは、その能力を劇的に向上させ、画像復元における新たな可能性を示しています。モデルトレーニングのために、2000万枚の高解像度・高品質な画像からなるデータセットを収集し、それぞれに記述的なテキストアノテーションを付与しました。SUPIRは、テキストプロンプトに基づいて画像を復元する能力を提供し、その応用範囲と可能性を広げています。さらに、知覚品質をさらに向上させるために、ネガティブ品質プロンプトを導入しました。また、生成ベースの復元で遭遇する忠実度の問題を抑制するために、復元ガイド付きサンプリング手法を開発しました。実験結果は、SUPIRの卓越した復元効果と、テキストプロンプトを通じて復元を操作する新たな能力を実証しています。

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.

卓越へとスケールアップ：実世界におけるフォトリアリスティックな画像復元のためのモデルスケーリング実践

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

要旨

Support