RealRestorer: 대규모 이미지 편집 모델을 활용한 일반화 가능한 실제 이미지 복원 방향

초록

실제 환경에서의 이미지 복원은 자율 주행 및 객체 감지와 같은 하위 작업에 있어 매우 중요합니다. 그러나 기존 복원 모델들은 학습 데이터의 규모와 분포에 제한을 받아 실제 시나리오로의 일반화 성능이 낮은 편입니다. 최근 대규모 이미지 편집 모델들이 복원 작업에서 강력한 일반화 능력을 보여주고 있으며, 특히 Nano Banana Pro와 같은 클로즈드 소스 모델은 일관성을 유지하면서 이미지를 복원할 수 있습니다. 하지만 이러한 대규모 범용 모델로 그러한 성능을 달성하려면 상당한 데이터와 계산 비용이 필요합니다. 이 문제를 해결하기 위해 우리는 실제 환경에서 흔히 나타나는 9가지 열화 유형을 포괄하는 대규모 데이터셋을 구축하고 클로즈드 소스 대안과의 격차를 줄이기 위한 최첨단 오픈 소스 모델을 학습시켰습니다. 더 나아가 464개의 실제 열화 이미지와 열화 제거 및 일관성 보존에 초점을 맞춘 맞춤형 평가 지표를 포함한 RealIR-Bench를 소개합니다. 폭넓은 실험을 통해 우리 모델이 오픈 소스 방법 중 최고 성능을 달성하며 최첨단 성능을 이루었음을 입증합니다.

English

Image restoration under real-world degradations is critical for downstream tasks such as autonomous driving and object detection. However, existing restoration models are often limited by the scale and distribution of their training data, resulting in poor generalization to real-world scenarios. Recently, large-scale image editing models have shown strong generalization ability in restoration tasks, especially for closed-source models like Nano Banana Pro, which can restore images while preserving consistency. Nevertheless, achieving such performance with those large universal models requires substantial data and computational costs. To address this issue, we construct a large-scale dataset covering nine common real-world degradation types and train a state-of-the-art open-source model to narrow the gap with closed-source alternatives. Furthermore, we introduce RealIR-Bench, which contains 464 real-world degraded images and tailored evaluation metrics focusing on degradation removal and consistency preservation. Extensive experiments demonstrate our model ranks first among open-source methods, achieving state-of-the-art performance.

RealRestorer: 대규모 이미지 편집 모델을 활용한 일반화 가능한 실제 이미지 복원 방향

RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models

초록

Support