Eine Vorstudie zu GPT-4o zur Bildrestaurierung

A Preliminary Study for GPT-4o on Image Restoration

May 8, 2025

Autoren: Hao Yang, Yan Yang, Ruikun Zhang, Liyuan Pan

cs.AI

Zusammenfassung

OpenAIs GPT-4o-Modell, das multimodale Ein- und Ausgaben in einer autoregressiven Architektur integriert, hat beispiellose Leistungen in der Bildgenerierung gezeigt. In dieser Arbeit untersuchen wir sein potenzielles Auswirken auf die Bildrestaurierungs-Community. Wir präsentieren die erste systematische Evaluierung von GPT-4o über diverse Restaurierungsaufgaben hinweg. Unsere Experimente zeigen, dass, obwohl die Restaurierungsausgaben von GPT-4o visuell ansprechend sind, sie oft unter einer mangelnden pixelgenauen strukturellen Treue im Vergleich zu Ground-Truth-Bildern leiden. Häufige Probleme sind Variationen in den Bildproportionen, Verschiebungen in Objektpositionen und -mengen sowie Änderungen im Blickwinkel. Um dies zu adressieren, zeigen wir anhand von repräsentativen Fallstudien zur Bildentnebelung, Entregnung und Low-Light-Verbesserung, dass die Ausgaben von GPT-4o als leistungsstarke visuelle Priors dienen können, die die Leistung bestehender Entnebelungsnetzwerke erheblich verbessern. Es bietet praktische Richtlinien und ein Baseline-Framework, um die Integration von GPT-4o in zukünftige Bildrestaurierungs-Pipelines zu erleichtern. Wir hoffen, dass die Studie zur Bildrestaurierung mit GPT-4o Innovationen im breiteren Feld der Bildgenerierung beschleunigen wird. Um weitere Forschungen zu unterstützen, werden wir GPT-4o-restaurierte Bilder aus über 10 weit verbreiteten Bildrestaurierungsdatensätzen veröffentlichen.

English

OpenAI's GPT-4o model, integrating multi-modal inputs and outputs within an autoregressive architecture, has demonstrated unprecedented performance in image generation. In this work, we investigate its potential impact on the image restoration community. We present the first systematic evaluation of GPT-4o across diverse restoration tasks. Our experiments reveal that, although restoration outputs from GPT-4o are visually appealing, they often suffer from pixel-level structural fidelity when compared to ground-truth images. Common issues are variations in image proportions, shifts in object positions and quantities, and changes in viewpoint.To address it, taking image dehazing, derainning, and low-light enhancement as representative case studies, we show that GPT-4o's outputs can serve as powerful visual priors, substantially enhancing the performance of existing dehazing networks. It offers practical guidelines and a baseline framework to facilitate the integration of GPT-4o into future image restoration pipelines. We hope the study on GPT-4o image restoration will accelerate innovation in the broader field of image generation areas. To support further research, we will release GPT-4o-restored images from over 10 widely used image restoration datasets.