GenExam : Un examen multidisciplinaire de génération d'images à partir de texte

GenExam: A Multidisciplinary Text-to-Image Exam

September 17, 2025

papers.authors: Zhaokai Wang, Penghao Yin, Xiangyu Zhao, Changyao Tian, Yu Qiao, Wenhai Wang, Jifeng Dai, Gen Luo

cs.AI

papers.abstract

Les examens constituent un test fondamental de l'intelligence de niveau expert et nécessitent une compréhension intégrée, un raisonnement et une génération. Les benchmarks existants de type examen se concentrent principalement sur les tâches de compréhension et de raisonnement, tandis que les benchmarks actuels de génération mettent l'accent sur l'illustration des connaissances générales et des concepts visuels, négligeant l'évaluation des examens de dessin rigoureux. Nous présentons GenExam, le premier benchmark pour les examens multidisciplinaires de génération d'images à partir de texte, comprenant 1 000 échantillons répartis sur 10 sujets avec des prompts de type examen organisés selon une taxonomie à quatre niveaux. Chaque problème est accompagné d'images de référence et de points de notation détaillés pour permettre une évaluation précise de la correction sémantique et de la plausibilité visuelle. Les expériences montrent que même les modèles de pointe tels que GPT-Image-1 et Gemini-2.5-Flash-Image obtiennent des scores stricts inférieurs à 15 %, et que la plupart des modèles atteignent presque 0 %, ce qui souligne le grand défi posé par notre benchmark. En cadrant la génération d'images comme un examen, GenExam offre une évaluation rigoureuse de la capacité des modèles à intégrer les connaissances, le raisonnement et la génération, fournissant des perspectives sur le chemin vers une AGI générale.

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.