Valutazione dell'IA Generativa Multimodale con gli Standard Educativi Coreani

Evaluating Multimodal Generative AI with Korean Educational Standards

February 21, 2025

Autori: Sanghee Park, Geewook Kim

cs.AI

Abstract

Questo articolo presenta il Korean National Educational Test Benchmark (KoNET), un nuovo benchmark progettato per valutare i Sistemi di Intelligenza Artificiale Generativa Multimodale utilizzando i test educativi nazionali coreani. KoNET comprende quattro esami: il Korean Elementary General Educational Development Test (KoEGED), il Middle (KoMGED), l'High (KoHGED) e il College Scholastic Ability Test (KoCSAT). Questi esami sono rinomati per i loro standard rigorosi e le domande diversificate, facilitando un'analisi completa delle prestazioni dell'IA attraverso diversi livelli educativi. Concentrandosi sulla lingua coreana, KoNET fornisce approfondimenti sulle prestazioni dei modelli in lingue meno esplorate. Valutiamo una gamma di modelli - open-source, open-access e API chiuse - esaminando difficoltà, diversità degli argomenti e tassi di errore umano. Il codice e il costruttore del dataset saranno resi completamente open-source all'indirizzo https://github.com/naver-ai/KoNET.

English

This paper presents the Korean National Educational Test Benchmark (KoNET), a new benchmark designed to evaluate Multimodal Generative AI Systems using Korean national educational tests. KoNET comprises four exams: the Korean Elementary General Educational Development Test (KoEGED), Middle (KoMGED), High (KoHGED), and College Scholastic Ability Test (KoCSAT). These exams are renowned for their rigorous standards and diverse questions, facilitating a comprehensive analysis of AI performance across different educational levels. By focusing on Korean, KoNET provides insights into model performance in less-explored languages. We assess a range of models - open-source, open-access, and closed APIs - by examining difficulties, subject diversity, and human error rates. The code and dataset builder will be made fully open-sourced at https://github.com/naver-ai/KoNET.