Escalando hacia la Excelencia: Implementación del Escalado de Modelos para la Restauración Foto-Realista de Imágenes en Entornos Reales

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Autores: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Resumen

Presentamos SUPIR (Scaling-UP Image Restoration), un método revolucionario de restauración de imágenes que aprovecha el conocimiento generativo y el poder del escalado de modelos. Utilizando técnicas multimodales y conocimiento generativo avanzado, SUPIR representa un avance significativo en la restauración de imágenes inteligente y realista. Como catalizador clave dentro de SUPIR, el escalado de modelos mejora drásticamente sus capacidades y demuestra un nuevo potencial para la restauración de imágenes. Hemos recopilado un conjunto de datos que comprende 20 millones de imágenes de alta resolución y calidad para el entrenamiento del modelo, cada una enriquecida con anotaciones de texto descriptivas. SUPIR ofrece la capacidad de restaurar imágenes guiadas por indicaciones textuales, ampliando su alcance de aplicación y potencial. Además, introducimos indicaciones de calidad negativa para mejorar aún más la calidad perceptual. También desarrollamos un método de muestreo guiado por restauración para suprimir el problema de fidelidad encontrado en la restauración basada en generación. Los experimentos demuestran los efectos excepcionales de restauración de SUPIR y su novedosa capacidad para manipular la restauración a través de indicaciones textuales.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.