MinorBench: ручной бенчмарк для оценки контентных рисков для детей

MinorBench: A hand-built benchmark for content-based risks for children

March 13, 2025

Авторы: Shaun Khoo, Gabriel Chua, Rachel Shong

cs.AI

Аннотация

Крупные языковые модели (LLM) стремительно проникают в жизнь детей — через их внедрение родителями, в школах и в кругах сверстников, — однако текущие исследования в области этики и безопасности ИИ недостаточно учитывают контентные риски, специфичные для несовершеннолетних. В данной статье мы выделяем эти пробелы на примере реального кейса использования LLM-чата в средней школе, демонстрируя, как ученики использовали, а иногда и злоупотребляли системой. На основе этих наблюдений мы предлагаем новую таксономию контентных рисков для несовершеннолетних и представляем MinorBench — открытый бенчмарк, разработанный для оценки способности LLM отклонять небезопасные или неподходящие запросы от детей. Мы тестируем шесть известных LLM с различными системными подсказками, выявляя значительные различия в их соответствии требованиям безопасности для детей. Наши результаты предлагают практические шаги для создания более надежных механизмов безопасности, ориентированных на детей, и подчеркивают необходимость адаптации ИИ-систем для защиты молодых пользователей.

English

Large Language Models (LLMs) are rapidly entering children's lives - through parent-driven adoption, schools, and peer networks - yet current AI ethics and safety research do not adequately address content-related risks specific to minors. In this paper, we highlight these gaps with a real-world case study of an LLM-based chatbot deployed in a middle school setting, revealing how students used and sometimes misused the system. Building on these findings, we propose a new taxonomy of content-based risks for minors and introduce MinorBench, an open-source benchmark designed to evaluate LLMs on their ability to refuse unsafe or inappropriate queries from children. We evaluate six prominent LLMs under different system prompts, demonstrating substantial variability in their child-safety compliance. Our results inform practical steps for more robust, child-focused safety mechanisms and underscore the urgency of tailoring AI systems to safeguard young users.