GPT-ImgEval: Un Benchmark Integral para Diagnosticar GPT4o en la Generación de Imágenes

GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation

April 3, 2025

Autores: Zhiyuan Yan, Junyan Ye, Weijia Li, Zilong Huang, Shenghai Yuan, Xiangyang He, Kaiqing Lin, Jun He, Conghui He, Li Yuan

cs.AI

Resumen

Los recientes avances en el modelo GPT4o de OpenAI han demostrado capacidades sorprendentemente buenas en la generación y edición de imágenes, generando un entusiasmo significativo en la comunidad. Este informe técnico presenta el primer punto de referencia de evaluación (denominado GPT-ImgEval), diagnosticando cuantitativa y cualitativamente el rendimiento de GPT-4o en tres dimensiones críticas: (1) calidad de generación, (2) competencia en edición y (3) síntesis semántica basada en conocimiento del mundo. En las tres tareas, GPT-4o demuestra un rendimiento sólido, superando significativamente los métodos existentes tanto en el control de la generación de imágenes como en la calidad de la salida, al mismo tiempo que muestra capacidades excepcionales de razonamiento basado en conocimiento. Además, basándonos en los datos generados por GPT-4o, proponemos un enfoque basado en modelos de clasificación para investigar la arquitectura subyacente de GPT-4o, donde nuestros resultados empíricos sugieren que el modelo consiste en un componente auto-regresivo (AR) combinado con una cabeza basada en difusión para la decodificación de imágenes, en lugar de arquitecturas similares a VAR. También proporcionamos una especulación completa sobre la arquitectura general de GPT-4o. Adicionalmente, realizamos una serie de análisis para identificar y visualizar las limitaciones específicas de GPT-4o y los artefactos sintéticos comúnmente observados en su generación de imágenes. También presentamos un estudio comparativo de edición de imágenes en múltiples rondas entre GPT-4o y Gemini 2.0 Flash, y discutimos las implicaciones de seguridad de las salidas de GPT-4o, particularmente su detectabilidad por parte de los modelos forenses de imágenes existentes. Esperamos que nuestro trabajo pueda ofrecer información valiosa y proporcionar un punto de referencia confiable para guiar futuras investigaciones, fomentar la reproducibilidad y acelerar la innovación en el campo de la generación de imágenes y más allá. Los códigos y conjuntos de datos utilizados para evaluar GPT-4o se pueden encontrar en https://github.com/PicoTrex/GPT-ImgEval.

English

The recent breakthroughs in OpenAI's GPT4o model have demonstrated surprisingly good capabilities in image generation and editing, resulting in significant excitement in the community. This technical report presents the first-look evaluation benchmark (named GPT-ImgEval), quantitatively and qualitatively diagnosing GPT-4o's performance across three critical dimensions: (1) generation quality, (2) editing proficiency, and (3) world knowledge-informed semantic synthesis. Across all three tasks, GPT-4o demonstrates strong performance, significantly surpassing existing methods in both image generation control and output quality, while also showcasing exceptional knowledge reasoning capabilities. Furthermore, based on the GPT-4o's generated data, we propose a classification-model-based approach to investigate the underlying architecture of GPT-4o, where our empirical results suggest the model consists of an auto-regressive (AR) combined with a diffusion-based head for image decoding, rather than the VAR-like architectures. We also provide a complete speculation on GPT-4o's overall architecture. In addition, we conduct a series of analyses to identify and visualize GPT-4o's specific limitations and the synthetic artifacts commonly observed in its image generation. We also present a comparative study of multi-round image editing between GPT-4o and Gemini 2.0 Flash, and discuss the safety implications of GPT-4o's outputs, particularly their detectability by existing image forensic models. We hope that our work can offer valuable insight and provide a reliable benchmark to guide future research, foster reproducibility, and accelerate innovation in the field of image generation and beyond. The codes and datasets used for evaluating GPT-4o can be found at https://github.com/PicoTrex/GPT-ImgEval.