MinorBench: 子供向けコンテンツベースのリスク評価のための手作りベンチマーク

MinorBench: A hand-built benchmark for content-based risks for children

March 13, 2025

著者: Shaun Khoo, Gabriel Chua, Rachel Shong

cs.AI

要旨

大規模言語モデル（LLMs）は、親主導の導入、学校、そして友人ネットワークを通じて、急速に子供たちの生活に入り込んでいます。しかし、現在のAI倫理と安全性に関する研究は、未成年者に特有のコンテンツ関連リスクを十分に扱っていません。本論文では、中学校環境で展開されたLLMベースのチャットボットの実世界ケーススタディを通じて、学生がどのようにシステムを利用し、時には誤用したかを明らかにし、これらのギャップを浮き彫りにします。これらの知見を基に、未成年者向けのコンテンツベースのリスクの新しい分類法を提案し、子供たちからの安全でないまたは不適切なクエリを拒否する能力を評価するためのオープンソースのベンチマークであるMinorBenchを紹介します。異なるシステムプロンプトの下で6つの主要なLLMを評価し、それらの子供向け安全性遵守における大きなばらつきを示します。私たちの結果は、より堅牢で子供に焦点を当てた安全メカニズムのための実践的なステップを提供し、若いユーザーを保護するためにAIシステムを調整することの緊急性を強調します。

English

Large Language Models (LLMs) are rapidly entering children's lives - through parent-driven adoption, schools, and peer networks - yet current AI ethics and safety research do not adequately address content-related risks specific to minors. In this paper, we highlight these gaps with a real-world case study of an LLM-based chatbot deployed in a middle school setting, revealing how students used and sometimes misused the system. Building on these findings, we propose a new taxonomy of content-based risks for minors and introduce MinorBench, an open-source benchmark designed to evaluate LLMs on their ability to refuse unsafe or inappropriate queries from children. We evaluate six prominent LLMs under different system prompts, demonstrating substantial variability in their child-safety compliance. Our results inform practical steps for more robust, child-focused safety mechanisms and underscore the urgency of tailoring AI systems to safeguard young users.