Skalierung zur Exzellenz: Praktische Anwendung der Modellskalierung für fotorealistische Bildrestaurierung in realen Umgebungen

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

January 24, 2024

Autoren: Fanghua Yu, Jinjin Gu, Zheyuan Li, Jinfan Hu, Xiangtao Kong, Xintao Wang, Jingwen He, Yu Qiao, Chao Dong

cs.AI

Zusammenfassung

Wir stellen SUPIR (Scaling-UP Image Restoration) vor, eine bahnbrechende Methode zur Bildrestaurierung, die generative Prioritäten und die Kraft der Modellskalierung nutzt. Durch den Einsatz von Multi-Modal-Techniken und fortschrittlichen generativen Prioritäten markiert SUPIR einen bedeutenden Fortschritt in der intelligenten und realistischen Bildrestaurierung. Als entscheidender Katalysator innerhalb von SUPIR verbessert die Modellskalierung dessen Fähigkeiten dramatisch und zeigt neues Potenzial für die Bildrestaurierung auf. Wir haben einen Datensatz mit 20 Millionen hochauflösenden, qualitativ hochwertigen Bildern für das Modelltraining zusammengestellt, die jeweils mit beschreibenden Textanmerkungen angereichert sind. SUPIR bietet die Möglichkeit, Bilder durch textbasierte Anweisungen zu restaurieren, wodurch sein Anwendungsbereich und Potenzial erweitert werden. Darüber hinaus führen wir negative Qualitätsanweisungen ein, um die wahrgenommene Qualität weiter zu verbessern. Wir entwickeln auch eine restaurierungsgesteuerte Sampling-Methode, um das Treueproblem zu unterdrücken, das bei der generativen Restaurierung auftritt. Experimente demonstrieren die außergewöhnlichen Restaurierungseffekte von SUPIR und seine neuartige Fähigkeit, die Restaurierung durch textbasierte Anweisungen zu steuern.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.