GPT-ImgEval: Ein umfassender Benchmark zur Diagnose von GPT4o in der Bildgenerierung

GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation

April 3, 2025

Autoren: Zhiyuan Yan, Junyan Ye, Weijia Li, Zilong Huang, Shenghai Yuan, Xiangyang He, Kaiqing Lin, Jun He, Conghui He, Li Yuan

cs.AI

Zusammenfassung

Die jüngsten Durchbrüche in OpenAIs GPT4o-Modell haben überraschend gute Fähigkeiten in der Bildgenerierung und -bearbeitung demonstriert, was zu erheblicher Begeisterung in der Community geführt hat. Dieser technische Bericht präsentiert den ersten Evaluierungs-Benchmark (genannt GPT-ImgEval), der die Leistung von GPT-4o in drei kritischen Dimensionen quantitativ und qualitativ untersucht: (1) Generierungsqualität, (2) Bearbeitungsfähigkeit und (3) semantische Synthese auf Basis von Weltwissen. In allen drei Aufgaben zeigt GPT-4o eine starke Leistung und übertrifft bestehende Methoden sowohl in der Kontrolle der Bildgenerierung als auch in der Ausgabequalität deutlich, während es gleichzeitig außergewöhnliche Fähigkeiten im Wissensschluss demonstriert. Darüber hinaus schlagen wir basierend auf den von GPT-4o generierten Daten einen klassifikationsmodellbasierten Ansatz vor, um die zugrunde liegende Architektur von GPT-4o zu untersuchen, wobei unsere empirischen Ergebnisse darauf hindeuten, dass das Modell aus einem autoregressiven (AR) Teil in Kombination mit einem diffusionsbasierten Kopf für die Bilddekodierung besteht, anstatt aus VAR-ähnlichen Architekturen. Wir liefern auch eine vollständige Spekulation über die Gesamtarchitektur von GPT-4o. Zusätzlich führen wir eine Reihe von Analysen durch, um spezifische Grenzen von GPT-4o und die häufig beobachteten synthetischen Artefakte in seiner Bildgenerierung zu identifizieren und zu visualisieren. Wir präsentieren auch eine vergleichende Studie zur mehrfachen Bildbearbeitung zwischen GPT-4o und Gemini 2.0 Flash und diskutieren die Sicherheitsimplikationen der Ausgaben von GPT-4o, insbesondere ihre Erkennbarkeit durch bestehende Bildforensikmodelle. Wir hoffen, dass unsere Arbeit wertvolle Einblicke bieten und einen zuverlässigen Benchmark liefern kann, um zukünftige Forschung zu leiten, Reproduzierbarkeit zu fördern und Innovationen im Bereich der Bildgenerierung und darüber hinaus zu beschleunigen. Die Codes und Datensätze, die zur Bewertung von GPT-4o verwendet wurden, sind unter https://github.com/PicoTrex/GPT-ImgEval zu finden.

English

The recent breakthroughs in OpenAI's GPT4o model have demonstrated surprisingly good capabilities in image generation and editing, resulting in significant excitement in the community. This technical report presents the first-look evaluation benchmark (named GPT-ImgEval), quantitatively and qualitatively diagnosing GPT-4o's performance across three critical dimensions: (1) generation quality, (2) editing proficiency, and (3) world knowledge-informed semantic synthesis. Across all three tasks, GPT-4o demonstrates strong performance, significantly surpassing existing methods in both image generation control and output quality, while also showcasing exceptional knowledge reasoning capabilities. Furthermore, based on the GPT-4o's generated data, we propose a classification-model-based approach to investigate the underlying architecture of GPT-4o, where our empirical results suggest the model consists of an auto-regressive (AR) combined with a diffusion-based head for image decoding, rather than the VAR-like architectures. We also provide a complete speculation on GPT-4o's overall architecture. In addition, we conduct a series of analyses to identify and visualize GPT-4o's specific limitations and the synthetic artifacts commonly observed in its image generation. We also present a comparative study of multi-round image editing between GPT-4o and Gemini 2.0 Flash, and discuss the safety implications of GPT-4o's outputs, particularly their detectability by existing image forensic models. We hope that our work can offer valuable insight and provide a reliable benchmark to guide future research, foster reproducibility, and accelerate innovation in the field of image generation and beyond. The codes and datasets used for evaluating GPT-4o can be found at https://github.com/PicoTrex/GPT-ImgEval.