GenExam: Een Multidisciplinair Tekst-naar-Beeld Examen

GenExam: A Multidisciplinary Text-to-Image Exam

September 17, 2025

Auteurs: Zhaokai Wang, Penghao Yin, Xiangyu Zhao, Changyao Tian, Yu Qiao, Wenhai Wang, Jifeng Dai, Gen Luo

cs.AI

Samenvatting

Examens vormen een fundamentele test van expertniveau-intelligentie en vereisen geïntegreerd begrip, redenering en generatie. Bestaande examengerichte benchmarks richten zich voornamelijk op begrips- en redeneertaken, en huidige generatiebenchmarks leggen de nadruk op het illustreren van wereldkennis en visuele concepten, waarbij de evaluatie van strenge tekeningenexamens wordt verwaarloosd. We introduceren GenExam, de eerste benchmark voor multidisciplinaire tekst-naar-beeld examens, met 1.000 voorbeelden verdeeld over 10 vakken met examengerichte prompts georganiseerd volgens een vierniveau-taxonomie. Elk probleem is voorzien van grondwaarheidbeelden en fijnmazige scoringspunten om een nauwkeurige evaluatie van semantische correctheid en visuele geloofwaardigheid mogelijk te maken. Experimenten tonen aan dat zelfs state-of-the-art modellen zoals GPT-Image-1 en Gemini-2.5-Flash-Image minder dan 15% strenge scores behalen, en de meeste modellen scoren bijna 0%, wat de grote uitdaging van onze benchmark onderstreept. Door beeldgeneratie te benaderen als een examen, biedt GenExam een rigoureuze beoordeling van het vermogen van modellen om kennis, redenering en generatie te integreren, en biedt het inzichten op het pad naar algemene AGI.

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.