GPT-ImgEval: Een Uitgebreide Benchmark voor het Diagnosticeren van GPT4o in Beeldgeneratie

GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation

April 3, 2025

Auteurs: Zhiyuan Yan, Junyan Ye, Weijia Li, Zilong Huang, Shenghai Yuan, Xiangyang He, Kaiqing Lin, Jun He, Conghui He, Li Yuan

cs.AI

Samenvatting

De recente doorbraken in OpenAI's GPT4o-model hebben verrassend goede mogelijkheden aangetoond op het gebied van beeldgeneratie en -bewerking, wat heeft geleid tot aanzienlijke opwinding in de gemeenschap. Dit technische rapport presenteert een eerste evaluatiebenchmark (genaamd GPT-ImgEval), die kwantitatief en kwalitatief de prestaties van GPT-4o diagnosticeert op drie kritieke dimensies: (1) generatiekwaliteit, (2) bewerkingsvaardigheid, en (3) semantische synthese op basis van wereldkennis. Op alle drie de taken laat GPT-4o sterke prestaties zien, waarbij het bestaande methoden aanzienlijk overtreft in zowel beeldgeneratiecontrole als uitvoerkwaliteit, terwijl het ook uitzonderlijke kennisredeneervaardigheden tentoonspreidt. Bovendien stellen we, gebaseerd op de gegenereerde data van GPT-4o, een classificatiemodel-gebaseerde aanpak voor om de onderliggende architectuur van GPT-4o te onderzoeken, waarbij onze empirische resultaten suggereren dat het model bestaat uit een autoregressief (AR) gecombineerd met een diffusiegebaseerde kop voor beelddecodering, in plaats van VAR-achtige architecturen. We bieden ook een complete speculatie over de algehele architectuur van GPT-4o. Daarnaast voeren we een reeks analyses uit om de specifieke beperkingen van GPT-4o en de synthetische artefacten die vaak worden waargenomen bij de beeldgeneratie te identificeren en te visualiseren. We presenteren ook een vergelijkende studie van meerdere ronden beeldbewerking tussen GPT-4o en Gemini 2.0 Flash, en bespreken de veiligheidsimplicaties van de uitvoer van GPT-4o, met name de detecteerbaarheid ervan door bestaande beeldforensische modellen. We hopen dat ons werk waardevolle inzichten kan bieden en een betrouwbare benchmark kan leveren om toekomstig onderzoek te begeleiden, reproduceerbaarheid te bevorderen en innovatie op het gebied van beeldgeneratie en daarbuiten te versnellen. De codes en datasets die worden gebruikt voor de evaluatie van GPT-4o zijn te vinden op https://github.com/PicoTrex/GPT-ImgEval.

English

The recent breakthroughs in OpenAI's GPT4o model have demonstrated surprisingly good capabilities in image generation and editing, resulting in significant excitement in the community. This technical report presents the first-look evaluation benchmark (named GPT-ImgEval), quantitatively and qualitatively diagnosing GPT-4o's performance across three critical dimensions: (1) generation quality, (2) editing proficiency, and (3) world knowledge-informed semantic synthesis. Across all three tasks, GPT-4o demonstrates strong performance, significantly surpassing existing methods in both image generation control and output quality, while also showcasing exceptional knowledge reasoning capabilities. Furthermore, based on the GPT-4o's generated data, we propose a classification-model-based approach to investigate the underlying architecture of GPT-4o, where our empirical results suggest the model consists of an auto-regressive (AR) combined with a diffusion-based head for image decoding, rather than the VAR-like architectures. We also provide a complete speculation on GPT-4o's overall architecture. In addition, we conduct a series of analyses to identify and visualize GPT-4o's specific limitations and the synthetic artifacts commonly observed in its image generation. We also present a comparative study of multi-round image editing between GPT-4o and Gemini 2.0 Flash, and discuss the safety implications of GPT-4o's outputs, particularly their detectability by existing image forensic models. We hope that our work can offer valuable insight and provide a reliable benchmark to guide future research, foster reproducibility, and accelerate innovation in the field of image generation and beyond. The codes and datasets used for evaluating GPT-4o can be found at https://github.com/PicoTrex/GPT-ImgEval.