Масштабирование к совершенству: практика масштабирования моделей для фотореалистичного восстановления изображений в реальных условиях

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Авторы: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Аннотация

Мы представляем SUPIR (Scaling-UP Image Restoration) — революционный метод восстановления изображений, который использует генеративные априорные знания и мощь масштабирования моделей. Благодаря применению мультимодальных техник и передовых генеративных априорных знаний, SUPIR знаменует собой значительный прорыв в области интеллектуального и реалистичного восстановления изображений. Масштабирование моделей, выступающее ключевым катализатором в SUPIR, существенно расширяет его возможности и открывает новые перспективы для восстановления изображений. Мы собрали набор данных, включающий 20 миллионов высококачественных изображений высокого разрешения для обучения модели, каждое из которых дополнено текстовыми аннотациями. SUPIR предоставляет возможность восстанавливать изображения с учетом текстовых подсказок, что расширяет область его применения и потенциал. Кроме того, мы вводим подсказки с отрицательным качеством для дальнейшего улучшения воспринимаемого качества. Также мы разработали метод сэмплирования, управляемого восстановлением, чтобы подавить проблемы с точностью, возникающие при генеративном восстановлении. Эксперименты демонстрируют исключительные результаты восстановления SUPIR и его новую способность управлять процессом восстановления через текстовые подсказки.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.