GenExam: Ein multidisziplinärer Text-zu-Bild-Test

GenExam: A Multidisciplinary Text-to-Image Exam

September 17, 2025

papers.authors: Zhaokai Wang, Penghao Yin, Xiangyu Zhao, Changyao Tian, Yu Qiao, Wenhai Wang, Jifeng Dai, Gen Luo

cs.AI

papers.abstract

Prüfungen sind ein grundlegender Test von Expertenintelligenz und erfordern integriertes Verständnis, logisches Denken und Generierungsfähigkeiten. Bestehende Prüfungs-Benchmarks konzentrieren sich hauptsächlich auf Verständnis- und Denkaufgaben, während aktuelle Generierungs-Benchmarks die Darstellung von Weltwissen und visuellen Konzepten betonen, jedoch die Bewertung strenger Zeichenprüfungen vernachlässigen. Wir stellen GenExam vor, den ersten Benchmark für multidisziplinäre Text-zu-Bild-Prüfungen, der 1.000 Beispiele aus 10 Fächern mit prüfungsähnlichen Anweisungen umfasst, die in einer vierstufigen Taxonomie organisiert sind. Jede Aufgabe ist mit Referenzbildern und detaillierten Bewertungspunkten ausgestattet, um eine präzise Bewertung der semantischen Korrektheit und visuellen Plausibilität zu ermöglichen. Experimente zeigen, dass selbst state-of-the-art Modelle wie GPT-Image-1 und Gemini-2.5-Flash-Image weniger als 15 % strikte Punkte erreichen und die meisten Modelle nahezu 0 % erzielen, was die große Herausforderung unseres Benchmarks verdeutlicht. Indem Bildgenerierung als Prüfung betrachtet wird, bietet GenExam eine strenge Bewertung der Fähigkeit von Modellen, Wissen, logisches Denken und Generierung zu integrieren, und liefert Einblicke auf dem Weg zu allgemeiner künstlicher Intelligenz (AGI).

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.