MinorBench: Um benchmark construído manualmente para riscos baseados em conteúdo para crianças

MinorBench: A hand-built benchmark for content-based risks for children

March 13, 2025

Autores: Shaun Khoo, Gabriel Chua, Rachel Shong

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) estão rapidamente entrando na vida das crianças - por meio da adoção impulsionada pelos pais, escolas e redes de colegas - mas as pesquisas atuais sobre ética e segurança em IA não abordam adequadamente os riscos relacionados ao conteúdo específicos para menores. Neste artigo, destacamos essas lacunas com um estudo de caso real de um chatbot baseado em LLM implantado em uma escola de ensino fundamental, revelando como os alunos usaram e, às vezes, usaram mal o sistema. Com base nessas descobertas, propomos uma nova taxonomia de riscos baseados em conteúdo para menores e apresentamos o MinorBench, um benchmark de código aberto projetado para avaliar LLMs em sua capacidade de recusar consultas inseguras ou inadequadas de crianças. Avaliamos seis LLMs proeminentes sob diferentes prompts de sistema, demonstrando uma variabilidade substancial em sua conformidade com a segurança infantil. Nossos resultados informam etapas práticas para mecanismos de segurança mais robustos e focados nas crianças e destacam a urgência de adaptar os sistemas de IA para proteger os usuários jovens.

English

Large Language Models (LLMs) are rapidly entering children's lives - through parent-driven adoption, schools, and peer networks - yet current AI ethics and safety research do not adequately address content-related risks specific to minors. In this paper, we highlight these gaps with a real-world case study of an LLM-based chatbot deployed in a middle school setting, revealing how students used and sometimes misused the system. Building on these findings, we propose a new taxonomy of content-based risks for minors and introduce MinorBench, an open-source benchmark designed to evaluate LLMs on their ability to refuse unsafe or inappropriate queries from children. We evaluate six prominent LLMs under different system prompts, demonstrating substantial variability in their child-safety compliance. Our results inform practical steps for more robust, child-focused safety mechanisms and underscore the urgency of tailoring AI systems to safeguard young users.