EthicsMH: 정신 건강 AI를 위한 윤리적 추론 벤치마크 파일럿

EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI

September 15, 2025

저자: Sai Kartheek Reddy Kasu

cs.AI

초록

정신 건강 및 기타 민감한 분야에서 대규모 언어 모델(LLM)의 배치는 윤리적 추론, 공정성, 책임 있는 정렬에 관한 긴급한 질문들을 제기합니다. 그러나 기존의 도덕적 및 임상적 의사결정 벤치마크는 기밀성, 자율성, 선행, 편향이 빈번히 교차하는 정신 건강 실무에서 마주치는 독특한 윤리적 딜레마를 충분히 포착하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 치료 및 정신과적 맥락에서 AI 시스템이 윤리적으로 민감한 상황을 어떻게 처리하는지 평가하기 위해 설계된 125개의 시나리오로 구성된 파일럿 데이터셋인 '정신 건강 윤리 추론(EthicsMH)'을 소개합니다. 각 시나리오는 다중 의사결정 옵션, 전문가와 일치하는 추론, 기대 모델 행동, 실제 세계 영향, 다중 이해관계자 관점을 포함한 구조화된 필드로 보강되었습니다. 이 구조는 의사결정 정확성뿐만 아니라 설명 품질과 전문적 규범과의 일치도 평가를 가능하게 합니다. 규모는 작고 모델 지원 생성을 통해 개발되었지만, EthicsMH는 AI 윤리와 정신 건강 의사결정을 연결하는 작업 프레임워크를 구축합니다. 이 데이터셋을 공개함으로써, 우리는 커뮤니티와 전문가의 기여를 통해 확장될 수 있는 시드 리소스를 제공하여 사회의 가장 섬세한 결정을 책임 있게 처리할 수 있는 AI 시스템의 개발을 촉진하고자 합니다.

English

The deployment of large language models (LLMs) in mental health and other sensitive domains raises urgent questions about ethical reasoning, fairness, and responsible alignment. Yet, existing benchmarks for moral and clinical decision-making do not adequately capture the unique ethical dilemmas encountered in mental health practice, where confidentiality, autonomy, beneficence, and bias frequently intersect. To address this gap, we introduce Ethical Reasoning in Mental Health (EthicsMH), a pilot dataset of 125 scenarios designed to evaluate how AI systems navigate ethically charged situations in therapeutic and psychiatric contexts. Each scenario is enriched with structured fields, including multiple decision options, expert-aligned reasoning, expected model behavior, real-world impact, and multi-stakeholder viewpoints. This structure enables evaluation not only of decision accuracy but also of explanation quality and alignment with professional norms. Although modest in scale and developed with model-assisted generation, EthicsMH establishes a task framework that bridges AI ethics and mental health decision-making. By releasing this dataset, we aim to provide a seed resource that can be expanded through community and expert contributions, fostering the development of AI systems capable of responsibly handling some of society's most delicate decisions.