EthicsMH : Un benchmark pilote pour le raisonnement éthique dans l'IA en santé mentale

EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI

September 15, 2025

papers.authors: Sai Kartheek Reddy Kasu

cs.AI

papers.abstract

Le déploiement de grands modèles de langage (LLMs) dans le domaine de la santé mentale et d'autres secteurs sensibles soulève des questions urgentes concernant le raisonnement éthique, l'équité et l'alignement responsable. Cependant, les benchmarks existants pour la prise de décision morale et clinique ne capturent pas adéquatement les dilemmes éthiques uniques rencontrés dans la pratique de la santé mentale, où la confidentialité, l'autonomie, la bienfaisance et les biais se croisent fréquemment. Pour combler cette lacune, nous introduisons Ethical Reasoning in Mental Health (EthicsMH), un ensemble de données pilote de 125 scénarios conçus pour évaluer comment les systèmes d'IA naviguent dans des situations éthiquement chargées dans des contextes thérapeutiques et psychiatriques. Chaque scénario est enrichi de champs structurés, incluant plusieurs options de décision, un raisonnement aligné sur l'expertise, le comportement attendu du modèle, l'impact réel et les points de vue de multiples parties prenantes. Cette structure permet d'évaluer non seulement la précision des décisions, mais aussi la qualité des explications et l'alignement avec les normes professionnelles. Bien que modeste en taille et développé avec une génération assistée par modèle, EthicsMH établit un cadre de tâches qui relie l'éthique de l'IA et la prise de décision en santé mentale. En publiant cet ensemble de données, nous visons à fournir une ressource de base qui peut être enrichie grâce aux contributions de la communauté et des experts, favorisant ainsi le développement de systèmes d'IA capables de gérer de manière responsable certaines des décisions les plus délicates de la société.

English

The deployment of large language models (LLMs) in mental health and other sensitive domains raises urgent questions about ethical reasoning, fairness, and responsible alignment. Yet, existing benchmarks for moral and clinical decision-making do not adequately capture the unique ethical dilemmas encountered in mental health practice, where confidentiality, autonomy, beneficence, and bias frequently intersect. To address this gap, we introduce Ethical Reasoning in Mental Health (EthicsMH), a pilot dataset of 125 scenarios designed to evaluate how AI systems navigate ethically charged situations in therapeutic and psychiatric contexts. Each scenario is enriched with structured fields, including multiple decision options, expert-aligned reasoning, expected model behavior, real-world impact, and multi-stakeholder viewpoints. This structure enables evaluation not only of decision accuracy but also of explanation quality and alignment with professional norms. Although modest in scale and developed with model-assisted generation, EthicsMH establishes a task framework that bridges AI ethics and mental health decision-making. By releasing this dataset, we aim to provide a seed resource that can be expanded through community and expert contributions, fostering the development of AI systems capable of responsibly handling some of society's most delicate decisions.