Scalare verso l'Eccellenza: Praticare il Ridimensionamento dei Modelli per il Restauro Foto-Realistico di Immagini in Ambienti Reali

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Autori: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Abstract

Presentiamo SUPIR (Scaling-UP Image Restoration), un metodo rivoluzionario per il ripristino delle immagini che sfrutta il prior generativo e la potenza del ridimensionamento del modello. Utilizzando tecniche multi-modali e un prior generativo avanzato, SUPIR rappresenta un significativo progresso nel ripristino intelligente e realistico delle immagini. Come catalizzatore fondamentale all'interno di SUPIR, il ridimensionamento del modello ne migliora drasticamente le capacità e dimostra nuove potenzialità per il ripristino delle immagini. Abbiamo raccolto un dataset composto da 20 milioni di immagini ad alta risoluzione e di alta qualità per l'addestramento del modello, ciascuna arricchita con annotazioni testuali descrittive. SUPIR offre la capacità di ripristinare le immagini guidato da prompt testuali, ampliando il suo ambito di applicazione e le sue potenzialità. Inoltre, introduciamo prompt di qualità negativa per migliorare ulteriormente la qualità percettiva. Abbiamo anche sviluppato un metodo di campionamento guidato dal ripristino per sopprimere il problema di fedeltà riscontrato nel ripristino basato su generazione. Gli esperimenti dimostrano gli effetti eccezionali di ripristino di SUPIR e la sua nuova capacità di manipolare il ripristino attraverso prompt testuali.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.