GenExam: 다학제적 텍스트-이미지 시험

초록

시험은 전문가 수준의 지능을 평가하는 근본적인 도구로서, 통합적 이해, 추론 및 생성 능력을 요구합니다. 기존의 시험 스타일 벤치마크는 주로 이해와 추론 과제에 초점을 맞추고 있으며, 현재의 생성 벤치마크는 세계 지식과 시각적 개념의 설명을 강조하면서 엄격한 그림 시험 평가를 소홀히 하고 있습니다. 우리는 다학제적 텍스트-이미지 시험을 위한 첫 번째 벤치마크인 GenExam을 소개합니다. GenExam은 10개 학문 분야에 걸쳐 1,000개의 샘플을 포함하며, 4단계 분류 체계로 구성된 시험 스타일 프롬프트를 제공합니다. 각 문제는 정답 이미지와 세밀한 채점 기준을 갖추어 의미적 정확성과 시각적 타당성을 정밀하게 평가할 수 있도록 합니다. 실험 결과, GPT-Image-1 및 Gemini-2.5-Flash-Image와 같은 최첨단 모델조차도 15% 미만의 엄격한 점수를 달성하며, 대부분의 모델은 거의 0%에 가까운 점수를 보여 우리 벤치마크의 큰 도전 과제를 시사합니다. 이미지 생성을 시험으로 프레임화함으로써, GenExam은 모델의 지식 통합, 추론 및 생성 능력을 엄격하게 평가하며, 일반적인 AGI(인공 일반 지능)로 나아가는 길에 대한 통찰을 제공합니다.

English

Exams are a fundamental test of expert-level intelligence and require integrated understanding, reasoning, and generation. Existing exam-style benchmarks mainly focus on understanding and reasoning tasks, and current generation benchmarks emphasize the illustration of world knowledge and visual concepts, neglecting the evaluation of rigorous drawing exams. We introduce GenExam, the first benchmark for multidisciplinary text-to-image exams, featuring 1,000 samples across 10 subjects with exam-style prompts organized under a four-level taxonomy. Each problem is equipped with ground-truth images and fine-grained scoring points to enable a precise evaluation of semantic correctness and visual plausibility. Experiments show that even state-of-the-art models such as GPT-Image-1 and Gemini-2.5-Flash-Image achieve less than 15% strict scores, and most models yield almost 0%, suggesting the great challenge of our benchmark. By framing image generation as an exam, GenExam offers a rigorous assessment of models' ability to integrate knowledge, reasoning, and generation, providing insights on the path to general AGI.

GenExam: 다학제적 텍스트-이미지 시험

GenExam: A Multidisciplinary Text-to-Image Exam

초록

Support