Passer à l'échelle pour l'excellence : Pratique de la mise à l'échelle des modèles pour la restauration photo-réaliste d'images en conditions réelles

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Auteurs: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Résumé

Nous présentons SUPIR (Scaling-UP Image Restoration), une méthode révolutionnaire de restauration d'images qui exploite un a priori génératif et la puissance de la mise à l'échelle des modèles. En s'appuyant sur des techniques multimodales et un a priori génératif avancé, SUPIR marque une avancée significative dans la restauration d'images intelligente et réaliste. En tant que catalyseur central au sein de SUPIR, la mise à l'échelle des modèles améliore considérablement ses capacités et démontre un nouveau potentiel pour la restauration d'images. Nous avons constitué un ensemble de données comprenant 20 millions d'images haute résolution et de haute qualité pour l'entraînement du modèle, chacune enrichie d'annotations textuelles descriptives. SUPIR offre la possibilité de restaurer des images guidées par des invites textuelles, élargissant ainsi son champ d'application et son potentiel. De plus, nous introduisons des invites de qualité négative pour améliorer davantage la qualité perceptuelle. Nous développons également une méthode d'échantillonnage guidée par la restauration pour atténuer le problème de fidélité rencontré dans la restauration basée sur la génération. Les expériences démontrent les effets de restauration exceptionnels de SUPIR ainsi que sa capacité novatrice à manipuler la restauration via des invites textuelles.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.