Opschalen naar perfectie: Toepassen van modelschaling voor foto-realistisch beeldherstel in natuurlijke omgevingen

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Auteurs: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Samenvatting

We introduceren SUPIR (Scaling-UP Image Restoration), een baanbrekende methode voor beeldherstel die gebruikmaakt van generatieve prior en de kracht van modelschaling. Door gebruik te maken van multimodale technieken en geavanceerde generatieve prior, markeert SUPIR een significante vooruitgang in intelligent en realistisch beeldherstel. Als een cruciale katalysator binnen SUPIR, verbetert modelschaling de mogelijkheden aanzienlijk en toont het nieuwe potentieel voor beeldherstel. We hebben een dataset verzameld bestaande uit 20 miljoen hoogwaardige, hoogresolutiebeelden voor modeltraining, elk verrijkt met beschrijvende tekstannotaties. SUPIR biedt de mogelijkheid om beelden te herstellen onder begeleiding van tekstuele prompts, waardoor het toepassingsbereik en potentieel worden verbreed. Bovendien introduceren we negatieve-kwaliteit prompts om de perceptuele kwaliteit verder te verbeteren. We ontwikkelen ook een herstelgeleide bemonsteringsmethode om het trouwheidsprobleem dat wordt aangetroffen bij generatief gebaseerd herstel te onderdrukken. Experimenten tonen de uitzonderlijke hersteleffecten van SUPIR en de nieuwe capaciteit om herstel te manipuleren via tekstuele prompts.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.