GPT-ImgEval: Um Benchmark Abrangente para Diagnóstico do GPT4o na Geração de Imagens

GPT-ImgEval: A Comprehensive Benchmark for Diagnosing GPT4o in Image Generation

April 3, 2025

Autores: Zhiyuan Yan, Junyan Ye, Weijia Li, Zilong Huang, Shenghai Yuan, Xiangyang He, Kaiqing Lin, Jun He, Conghui He, Li Yuan

cs.AI

Resumo

Os recentes avanços no modelo GPT4o da OpenAI demonstraram capacidades surpreendentemente boas em geração e edição de imagens, gerando um entusiasmo significativo na comunidade. Este relatório técnico apresenta o primeiro benchmark de avaliação (denominado GPT-ImgEval), diagnosticando quantitativa e qualitativamente o desempenho do GPT-4o em três dimensões críticas: (1) qualidade de geração, (2) proficiência em edição e (3) síntese semântica informada por conhecimento do mundo. Em todas as três tarefas, o GPT-4o demonstra um desempenho robusto, superando significativamente os métodos existentes tanto no controle da geração de imagens quanto na qualidade da saída, ao mesmo tempo em que exibe capacidades excepcionais de raciocínio baseado em conhecimento. Além disso, com base nos dados gerados pelo GPT-4o, propomos uma abordagem baseada em modelo de classificação para investigar a arquitetura subjacente do GPT-4o, onde nossos resultados empíricos sugerem que o modelo consiste em uma cabeça auto-regressiva (AR) combinada com uma base baseada em difusão para decodificação de imagens, em vez de arquiteturas do tipo VAR. Também fornecemos uma especulação completa sobre a arquitetura geral do GPT-4o. Adicionalmente, conduzimos uma série de análises para identificar e visualizar as limitações específicas do GPT-4o e os artefatos sintéticos comumente observados em sua geração de imagens. Apresentamos ainda um estudo comparativo de edição de imagens em múltiplas rodadas entre o GPT-4o e o Gemini 2.0 Flash, e discutimos as implicações de segurança das saídas do GPT-4o, particularmente sua detectabilidade por modelos forenses de imagem existentes. Esperamos que nosso trabalho possa oferecer insights valiosos e fornecer um benchmark confiável para orientar pesquisas futuras, promover a reprodutibilidade e acelerar a inovação no campo da geração de imagens e além. Os códigos e conjuntos de dados utilizados para avaliar o GPT-4o podem ser encontrados em https://github.com/PicoTrex/GPT-ImgEval.

English

The recent breakthroughs in OpenAI's GPT4o model have demonstrated surprisingly good capabilities in image generation and editing, resulting in significant excitement in the community. This technical report presents the first-look evaluation benchmark (named GPT-ImgEval), quantitatively and qualitatively diagnosing GPT-4o's performance across three critical dimensions: (1) generation quality, (2) editing proficiency, and (3) world knowledge-informed semantic synthesis. Across all three tasks, GPT-4o demonstrates strong performance, significantly surpassing existing methods in both image generation control and output quality, while also showcasing exceptional knowledge reasoning capabilities. Furthermore, based on the GPT-4o's generated data, we propose a classification-model-based approach to investigate the underlying architecture of GPT-4o, where our empirical results suggest the model consists of an auto-regressive (AR) combined with a diffusion-based head for image decoding, rather than the VAR-like architectures. We also provide a complete speculation on GPT-4o's overall architecture. In addition, we conduct a series of analyses to identify and visualize GPT-4o's specific limitations and the synthetic artifacts commonly observed in its image generation. We also present a comparative study of multi-round image editing between GPT-4o and Gemini 2.0 Flash, and discuss the safety implications of GPT-4o's outputs, particularly their detectability by existing image forensic models. We hope that our work can offer valuable insight and provide a reliable benchmark to guide future research, foster reproducibility, and accelerate innovation in the field of image generation and beyond. The codes and datasets used for evaluating GPT-4o can be found at https://github.com/PicoTrex/GPT-ImgEval.