Оценка соответствия когнитивного возраста в интерактивных ИИ-агентах

Аннотация

Хотя агентный ИИ и его ключевые мультимодальные большие языковые модели (MLLM) продемонстрировали значительные успехи в языковом и визуальном мышлении в самых разных областях — от повседневной жизни до передовых научных исследований — между искусственным и человеческим интеллектом сохраняется глубокий разрыв. Несмотря на интеграцию мощных инструментов и передовых MLLM, современные ИИ-агенты часто терпят неудачу в фундаментальных, на первый взгляд простых задачах, которые ребенок может легко решить. Вдохновляясь Шкалой интеллекта Векслера для детей (WISC), мы представляем ChildAgentEval — первый психометрически обоснованный интерактивный бенчмарк для оценки когнитивного возрастного соответствия в агентах на основе MLLM. ChildAgentEval систематически сравнивает производительность рассуждений различных интерактивных агентов на основе MLLM с возрастными стадиями развития человека, выявляя, где современные системы агентного ИИ могут, а где не могут имитировать когнитивное поведение, характерное для определенного возраста.

English

While agentic AI and its core multimodal large language models (MLLMs) have demonstrated remarkable promise in language and visual reasoning across domains ranging from daily life to advanced scientific research, a profound gap remains between artificial and human intelligence. Despite the integration of powerful tools and advanced MLLMs, state-of-the-art AI agents frequently fail at foundational, seemingly simple tasks that a child can resolve with ease. Inspired by the Wechsler Intelligence Scale for Children (WISC), we introduce ChildAgentEval, the first psychometrically grounded interactive benchmark for evaluating cognitive age alignment in MLLM-based agents. ChildAgentEval systematically compares the reasoning performance of various MLLM-based interactive agents against age-specific human developmental stages, exposing where current agentic AI systems can and cannot simulate age-specific cognitive behavior.