Avaliação do Alinhamento de Idade Cognitiva em Agentes de IA Interativos

Resumo

Embora a IA agentiva e seus principais modelos de linguagem grandes multimodais (MLLMs) tenham demonstrado uma promessa notável em raciocínio linguístico e visual em domínios que vão desde a vida cotidiana até a pesquisa científica avançada, uma lacuna profunda persiste entre a inteligência artificial e a humana. Apesar da integração de ferramentas poderosas e MLLMs avançados, agentes de IA de ponta frequentemente falham em tarefas fundamentais, aparentemente simples, que uma criança pode resolver com facilidade. Inspirados pela Escala de Inteligência Wechsler para Crianças (WISC), apresentamos o ChildAgentEval, o primeiro benchmark interativo psicometricamente fundamentado para avaliar o alinhamento de idade cognitiva em agentes baseados em MLLM. O ChildAgentEval compara sistematicamente o desempenho de raciocínio de vários agentes interativos baseados em MLLM com estágios de desenvolvimento humano específicos de idade, expondo onde os sistemas atuais de IA agentiva podem e não podem simular comportamento cognitivo específico de idade.

English

While agentic AI and its core multimodal large language models (MLLMs) have demonstrated remarkable promise in language and visual reasoning across domains ranging from daily life to advanced scientific research, a profound gap remains between artificial and human intelligence. Despite the integration of powerful tools and advanced MLLMs, state-of-the-art AI agents frequently fail at foundational, seemingly simple tasks that a child can resolve with ease. Inspired by the Wechsler Intelligence Scale for Children (WISC), we introduce ChildAgentEval, the first psychometrically grounded interactive benchmark for evaluating cognitive age alignment in MLLM-based agents. ChildAgentEval systematically compares the reasoning performance of various MLLM-based interactive agents against age-specific human developmental stages, exposing where current agentic AI systems can and cannot simulate age-specific cognitive behavior.