EthicsMH: Un punto de referencia piloto para el razonamiento ético en la IA de salud mental

EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI

September 15, 2025

Autores: Sai Kartheek Reddy Kasu

cs.AI

Resumen

El despliegue de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en salud mental y otros dominios sensibles plantea preguntas urgentes sobre razonamiento ético, equidad y alineación responsable. Sin embargo, los puntos de referencia existentes para la toma de decisiones morales y clínicas no capturan adecuadamente los dilemas éticos únicos que se encuentran en la práctica de la salud mental, donde la confidencialidad, la autonomía, la beneficencia y el sesgo se intersectan con frecuencia. Para abordar esta brecha, presentamos Razonamiento Ético en Salud Mental (EthicsMH), un conjunto de datos piloto de 125 escenarios diseñados para evaluar cómo los sistemas de IA navegan situaciones éticamente cargadas en contextos terapéuticos y psiquiátricos. Cada escenario está enriquecido con campos estructurados, que incluyen múltiples opciones de decisión, razonamiento alineado con expertos, comportamiento esperado del modelo, impacto en el mundo real y perspectivas de múltiples partes interesadas. Esta estructura permite evaluar no solo la precisión de las decisiones, sino también la calidad de las explicaciones y la alineación con las normas profesionales. Aunque modesto en escala y desarrollado con generación asistida por modelos, EthicsMH establece un marco de tareas que conecta la ética de la IA con la toma de decisiones en salud mental. Al publicar este conjunto de datos, nuestro objetivo es proporcionar un recurso inicial que pueda ampliarse mediante contribuciones comunitarias y de expertos, fomentando el desarrollo de sistemas de IA capaces de manejar de manera responsable algunas de las decisiones más delicadas de la sociedad.

English

The deployment of large language models (LLMs) in mental health and other sensitive domains raises urgent questions about ethical reasoning, fairness, and responsible alignment. Yet, existing benchmarks for moral and clinical decision-making do not adequately capture the unique ethical dilemmas encountered in mental health practice, where confidentiality, autonomy, beneficence, and bias frequently intersect. To address this gap, we introduce Ethical Reasoning in Mental Health (EthicsMH), a pilot dataset of 125 scenarios designed to evaluate how AI systems navigate ethically charged situations in therapeutic and psychiatric contexts. Each scenario is enriched with structured fields, including multiple decision options, expert-aligned reasoning, expected model behavior, real-world impact, and multi-stakeholder viewpoints. This structure enables evaluation not only of decision accuracy but also of explanation quality and alignment with professional norms. Although modest in scale and developed with model-assisted generation, EthicsMH establishes a task framework that bridges AI ethics and mental health decision-making. By releasing this dataset, we aim to provide a seed resource that can be expanded through community and expert contributions, fostering the development of AI systems capable of responsibly handling some of society's most delicate decisions.