GenExam: Мультидисциплинарный экзамен на генерацию изображений по тексту

GenExam: A Multidisciplinary Text-to-Image Exam

September 17, 2025

Авторы: Zhaokai Wang, Penghao Yin, Xiangyu Zhao, Changyao Tian, Yu Qiao, Wenhai Wang, Jifeng Dai, Gen Luo

cs.AI

Аннотация

Экзамены являются фундаментальным испытанием экспертного уровня интеллекта и требуют интегрированного понимания, рассуждения и генерации. Существующие бенчмарки в стиле экзаменов в основном сосредоточены на задачах понимания и рассуждения, а современные бенчмарки генерации акцентируют внимание на иллюстрации знаний о мире и визуальных концепций, пренебрегая оценкой строгих экзаменов по рисованию. Мы представляем GenExam — первый бенчмарк для междисциплинарных текстово-изобразительных экзаменов, включающий 1000 образцов по 10 предметам с экзаменационными заданиями, организованными в рамках четырехуровневой таксономии. Каждая задача снабжена эталонными изображениями и детализированными критериями оценки для точного измерения семантической корректности и визуальной правдоподобности. Эксперименты показывают, что даже передовые модели, такие как GPT-Image-1 и Gemini-2.5-Flash-Image, достигают менее 15% строгих баллов, а большинство моделей показывают почти 0%, что подчеркивает значительную сложность нашего бенчмарка. Формулируя генерацию изображений как экзамен, GenExam предлагает строгую оценку способности моделей интегрировать знания, рассуждение и генерацию, предоставляя важные инсайты на пути к созданию общего искусственного интеллекта (AGI).

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.