이미지 복원을 위한 GPT-4o에 대한 예비 연구

A Preliminary Study for GPT-4o on Image Restoration

May 8, 2025

저자: Hao Yang, Yan Yang, Ruikun Zhang, Liyuan Pan

cs.AI

초록

OpenAI의 GPT-4o 모델은 자동회귀 아키텍처 내에서 다중 모달 입력과 출력을 통합하여 이미지 생성 분야에서 전례 없는 성능을 보여주었다. 본 연구에서는 GPT-4o가 이미지 복원 커뮤니티에 미칠 잠재적 영향을 조사한다. 우리는 다양한 복원 작업에 걸쳐 GPT-4o의 첫 번째 체계적인 평가를 제시한다. 실험 결과, GPT-4o의 복원 출력물은 시각적으로 매력적이지만, 실제 이미지와 비교할 때 픽셀 수준의 구조적 충실도가 종종 떨어지는 것으로 나타났다. 일반적인 문제로는 이미지 비율의 변화, 객체 위치와 수량의 이동, 그리고 시점의 변화 등이 있다. 이를 해결하기 위해, 이미지 안개 제거, 비 제거, 저조도 향상을 대표적인 사례 연구로 삼아 GPT-4o의 출력물이 강력한 시각적 사전 정보로 작용하여 기존 안개 제거 네트워크의 성능을 크게 향상시킬 수 있음을 보여준다. 이는 GPT-4o를 미래의 이미지 복원 파이프라인에 통합하기 위한 실용적인 지침과 기준 프레임워크를 제공한다. 우리는 GPT-4o 이미지 복원에 대한 연구가 더 넓은 이미지 생성 분야의 혁신을 가속화할 것을 기대한다. 추가 연구를 지원하기 위해, 우리는 10개 이상의 널리 사용되는 이미지 복원 데이터셋에서 GPT-4o로 복원된 이미지를 공개할 예정이다.

English

OpenAI's GPT-4o model, integrating multi-modal inputs and outputs within an autoregressive architecture, has demonstrated unprecedented performance in image generation. In this work, we investigate its potential impact on the image restoration community. We present the first systematic evaluation of GPT-4o across diverse restoration tasks. Our experiments reveal that, although restoration outputs from GPT-4o are visually appealing, they often suffer from pixel-level structural fidelity when compared to ground-truth images. Common issues are variations in image proportions, shifts in object positions and quantities, and changes in viewpoint.To address it, taking image dehazing, derainning, and low-light enhancement as representative case studies, we show that GPT-4o's outputs can serve as powerful visual priors, substantially enhancing the performance of existing dehazing networks. It offers practical guidelines and a baseline framework to facilitate the integration of GPT-4o into future image restoration pipelines. We hope the study on GPT-4o image restoration will accelerate innovation in the broader field of image generation areas. To support further research, we will release GPT-4o-restored images from over 10 widely used image restoration datasets.