탁월함으로의 확장: 현실적인 이미지 복원을 위한 모델 스케일링 실천

초록

우리는 생성적 사전 지식과 모델 스케일링의 힘을 활용한 획기적인 이미지 복원 방법인 SUPIR(Scaling-UP Image Restoration)을 소개합니다. 다중 모달 기법과 고급 생성적 사전 지식을 활용한 SUPIR은 지능적이고 현실적인 이미지 복원 분야에서 중요한 진전을 이루었습니다. SUPIR 내에서 핵심 촉매 역할을 하는 모델 스케일링은 그 능력을 극적으로 향상시키며 이미지 복원에 대한 새로운 잠재력을 보여줍니다. 우리는 모델 학습을 위해 고해상도 고품질 이미지 2천만 장으로 구성된 데이터셋을 수집했으며, 각 이미지는 설명 텍스트 주석으로 보강되었습니다. SUPIR은 텍스트 프롬프트에 의해 안내된 이미지 복원 기능을 제공하여 응용 범위와 잠재력을 확장합니다. 또한, 지각적 품질을 더욱 개선하기 위해 부정적 품질 프롬프트를 도입했습니다. 또한, 생성 기반 복원에서 발생하는 충실도 문제를 억제하기 위해 복원 가이드 샘플링 방법을 개발했습니다. 실험 결과, SUPIR의 탁월한 복원 효과와 텍스트 프롬프트를 통해 복원을 조작하는 새로운 능력이 입증되었습니다.

English

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Leveraging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabilities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each enriched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capacity to manipulate restoration through textual prompts.

탁월함으로의 확장: 현실적인 이미지 복원을 위한 모델 스케일링 실천

Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

초록

Support