Escalando para a Excelência: Praticando o Dimensionamento de Modelos para Restauração Foto-Realista de Imagens em Ambientes Reais

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Autores: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Resumo

Apresentamos o SUPIR (Scaling-UP Image Restoration), um método inovador de restauração de imagens que utiliza prior generativo e o poder de escalonamento de modelos. Aproveitando técnicas multimodais e prior generativo avançado, o SUPIR representa um avanço significativo na restauração de imagens inteligente e realista. Como um catalisador fundamental dentro do SUPIR, o escalonamento de modelos amplia drasticamente suas capacidades e demonstra um novo potencial para a restauração de imagens. Coletamos um conjunto de dados composto por 20 milhões de imagens de alta resolução e qualidade para o treinamento do modelo, cada uma enriquecida com anotações textuais descritivas. O SUPIR oferece a capacidade de restaurar imagens guiadas por prompts textuais, ampliando seu escopo de aplicação e potencial. Além disso, introduzimos prompts de qualidade negativa para melhorar ainda mais a qualidade perceptiva. Também desenvolvemos um método de amostragem guiada por restauração para suprimir o problema de fidelidade encontrado na restauração baseada em geração. Experimentos demonstram os efeitos excepcionais de restauração do SUPIR e sua nova capacidade de manipular a restauração por meio de prompts textuais.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.