GenExam: Un Esame Multidisciplinare da Testo a Immagine

GenExam: A Multidisciplinary Text-to-Image Exam

September 17, 2025

Autori: Zhaokai Wang, Penghao Yin, Xiangyu Zhao, Changyao Tian, Yu Qiao, Wenhai Wang, Jifeng Dai, Gen Luo

cs.AI

Abstract

Gli esami rappresentano una prova fondamentale dell'intelligenza di livello esperto e richiedono una comprensione integrata, ragionamento e generazione. Gli attuali benchmark in stile esame si concentrano principalmente su compiti di comprensione e ragionamento, mentre i benchmark di generazione attuali enfatizzano l'illustrazione di conoscenze mondiali e concetti visivi, trascurando la valutazione di esami di disegno rigorosi. Introduciamo GenExam, il primo benchmark per esami multidisciplinari da testo a immagine, caratterizzato da 1.000 campioni in 10 materie con prompt in stile esame organizzati secondo una tassonomia a quattro livelli. Ogni problema è dotato di immagini di riferimento e punti di valutazione dettagliati per consentire una valutazione precisa della correttezza semantica e della plausibilità visiva. Gli esperimenti mostrano che anche modelli all'avanguardia come GPT-Image-1 e Gemini-2.5-Flash-Image ottengono meno del 15% di punteggi rigorosi, e la maggior parte dei modelli raggiunge quasi lo 0%, suggerendo la grande sfida del nostro benchmark. Inquadrando la generazione di immagini come un esame, GenExam offre una valutazione rigorosa della capacità dei modelli di integrare conoscenza, ragionamento e generazione, fornendo intuizioni sul percorso verso l'AGI generale.

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.