ChatPaper.aiChatPaper

MinorBench: Un benchmark costruito manualmente per i rischi basati sui contenuti per i bambini

MinorBench: A hand-built benchmark for content-based risks for children

March 13, 2025
Autori: Shaun Khoo, Gabriel Chua, Rachel Shong
cs.AI

Abstract

I Modelli Linguistici di Grandi Dimensioni (LLM) stanno rapidamente entrando nella vita dei bambini - attraverso l'adozione guidata dai genitori, le scuole e le reti di pari - eppure l'attuale ricerca sull'etica e la sicurezza dell'IA non affronta adeguatamente i rischi legati ai contenuti specifici per i minori. In questo articolo, evidenziamo queste lacune con uno studio di caso reale di un chatbot basato su LLM implementato in una scuola media, rivelando come gli studenti abbiano utilizzato e talvolta abusato del sistema. Sulla base di questi risultati, proponiamo una nuova tassonomia dei rischi basati sui contenuti per i minori e introduciamo MinorBench, un benchmark open-source progettato per valutare gli LLM sulla loro capacità di rifiutare query non sicure o inappropriate da parte dei bambini. Valutiamo sei importanti LLM con diversi prompt di sistema, dimostrando una variabilità sostanziale nella loro conformità alla sicurezza per i bambini. I nostri risultati informano passi pratici per meccanismi di sicurezza più robusti e focalizzati sui bambini e sottolineano l'urgenza di adattare i sistemi di IA per proteggere i giovani utenti.
English
Large Language Models (LLMs) are rapidly entering children's lives - through parent-driven adoption, schools, and peer networks - yet current AI ethics and safety research do not adequately address content-related risks specific to minors. In this paper, we highlight these gaps with a real-world case study of an LLM-based chatbot deployed in a middle school setting, revealing how students used and sometimes misused the system. Building on these findings, we propose a new taxonomy of content-based risks for minors and introduce MinorBench, an open-source benchmark designed to evaluate LLMs on their ability to refuse unsafe or inappropriate queries from children. We evaluate six prominent LLMs under different system prompts, demonstrating substantial variability in their child-safety compliance. Our results inform practical steps for more robust, child-focused safety mechanisms and underscore the urgency of tailoring AI systems to safeguard young users.
PDF53March 14, 2025