Een Empirische Studie naar de Beeldgeneratiecapaciteiten van GPT-4o

An Empirical Study of GPT-4o Image Generation Capabilities

April 8, 2025

Auteurs: Sixiang Chen, Jinbin Bai, Zhuoran Zhao, Tian Ye, Qingyu Shi, Donghao Zhou, Wenhao Chai, Xin Lin, Jianzong Wu, Chao Tang, Shilin Xu, Tao Zhang, Haobo Yuan, Yikang Zhou, Wei Chow, Linfeng Li, Xiangtai Li, Lei Zhu, Lu Qi

cs.AI

Samenvatting

Het landschap van beeldgeneratie heeft zich snel ontwikkeld, van vroege GAN-gebaseerde benaderingen naar diffusiemodellen en, meest recentelijk, naar verenigde generatieve architecturen die begrip en generatietaken proberen te overbruggen. Recente vooruitgang, met name GPT-4o, heeft de haalbaarheid van hoogwaardige multimodale generatie aangetoond, hoewel hun architectonische ontwerp mysterieus en ongepubliceerd blijft. Dit roept de vraag op of beeld- en tekstgeneratie al succesvol zijn geïntegreerd in een verenigd raamwerk voor deze methoden. In dit werk voeren we een empirische studie uit naar de beeldgeneratiecapaciteiten van GPT-4o, waarbij we het benchmarken tegen toonaangevende open-source en commerciële modellen. Onze evaluatie beslaat vier hoofdcategorieën, waaronder tekst-naar-beeld, beeld-naar-beeld, beeld-naar-3D en beeld-naar-X generatie, met meer dan 20 taken. Onze analyse belicht de sterke punten en beperkingen van GPT-4o onder verschillende omstandigheden en plaatst het binnen de bredere evolutie van generatieve modellering. Door dit onderzoek identificeren we veelbelovende richtingen voor toekomstige verenigde generatieve modellen, waarbij we de rol van architectonisch ontwerp en dataschaal benadrukken.

English

The landscape of image generation has rapidly evolved, from early GAN-based approaches to diffusion models and, most recently, to unified generative architectures that seek to bridge understanding and generation tasks. Recent advances, especially the GPT-4o, have demonstrated the feasibility of high-fidelity multimodal generation, their architectural design remains mysterious and unpublished. This prompts the question of whether image and text generation have already been successfully integrated into a unified framework for those methods. In this work, we conduct an empirical study of GPT-4o's image generation capabilities, benchmarking it against leading open-source and commercial models. Our evaluation covers four main categories, including text-to-image, image-to-image, image-to-3D, and image-to-X generation, with more than 20 tasks. Our analysis highlights the strengths and limitations of GPT-4o under various settings, and situates it within the broader evolution of generative modeling. Through this investigation, we identify promising directions for future unified generative models, emphasizing the role of architectural design and data scaling.